GNU/Linux >> Linux Esercitazione >  >> Cent OS

Striping su quattro nodi di archiviazione con GlusterFS su CentOS 5.4

Questo tutorial mostra come eseguire lo striping dei dati (segmentazione di dati logicamente sequenziali, come un singolo file, in modo che i segmenti possano essere assegnati a più dispositivi fisici in modo round-robin e quindi scritti contemporaneamente) su quattro server di archiviazione singoli (che esegue CentOS 5.4) con GlusterFS. Il sistema client (anche CentOS 5.4) sarà in grado di accedere allo storage come se fosse un filesystem locale.GlusterFS è un file system in cluster in grado di scalare a diversi peta-byte. Aggrega vari blocchi di archiviazione su Infiniband RDMA o interconnessione TCP/IP in un unico file system di rete parallelo di grandi dimensioni. I mattoni di archiviazione possono essere realizzati con qualsiasi hardware di consumo come server x86_64 con RAID SATA-II e HBA Infiniband.

Si noti che questo tipo di archiviazione non fornisce alcuna funzionalità di disponibilità elevata/tolleranza ai guasti, come nel caso dello spazio di archiviazione replicato.

Non garantisco che questo funzionerà per te!

1 Nota preliminare

In questo tutorial utilizzo cinque sistemi, quattro server e un client:

  • server1.example.com:indirizzo IP 192.168.0.100 (server)
  • server2.example.com:indirizzo IP 192.168.0.101 (server)
  • server3.example.com:indirizzo IP 192.168.0.102 (server)
  • server4.example.com:indirizzo IP 192.168.0.103 (server)
  • client1.example.com:indirizzo IP 192.168.0.104 (client)

Tutti e cinque i sistemi dovrebbero essere in grado di risolvere i nomi host degli altri sistemi. Se ciò non può essere fatto tramite DNS, dovresti modificare il file /etc/hosts in modo che contenga le seguenti righe su tutti e cinque i sistemi:

vi /etc/hosts
[...]
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   server3.example.com     server3
192.168.0.103   server4.example.com     server4
192.168.0.104   client1.example.com     client1
[...]

(È anche possibile utilizzare indirizzi IP invece di nomi host nella configurazione seguente. Se preferisci utilizzare indirizzi IP, non devi preoccuparti se i nomi host possono essere risolti o meno.)

2 Configurazione dei server GlusterFS

server1.example.com/server2.example.com/server3.example.com/server4.example.com:

GlusterFS non è disponibile come pacchetto per CentOS 5.4, quindi dobbiamo costruirlo noi stessi. Per prima cosa installiamo i prerequisiti:

yum groupinstall 'Development Tools'
yum groupinstall 'Development Libraries'
yum install libibverbs-devel fuse-devel

Quindi scarichiamo l'ultima versione di GlusterFS da http://www.gluster.org/download.php e la costruiamo come segue:

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.9.tar.gz
tar xvfz glusterfs-2.0.9.tar .gz
cd glusterfs-2.0.9
./configure

Alla fine del comando ./configure, dovresti vedere qualcosa del genere:

[...]
GlusterFS configure sommario
============================
FUSE client         :sì
Verbi Infiniband   : sì
epoll IO multiplex : sì
Berkeley-DB        : sì
libglusterfsclient : sì
argp-standalone    : no

[[email protetta] glusterfs-2.0.9]#

make &&make install
ldconfig

Controlla la versione GlusterFS in seguito (dovrebbe essere 2.0.9):

glusterfs --version

[[email protected] glusterfs-2.0.9]# glusterfs --version
glusterfs 2.0.9 costruito il 1 marzo 2010 15:34:50
Revisione del repository:v2.0.9
Copyright ( c) 2006-2009 Gluster Inc.
GlusterFS viene fornito con ASSOLUTAMENTE NESSUNA GARANZIA.
È possibile ridistribuire copie di GlusterFS secondo i termini della GNU General Public License.
[[email protected] glusterfs-2.0.9]#

Quindi creiamo alcune directory:

mkdir /data/
mkdir /data/export
mkdir /data/export-ns
mkdir /etc/glusterfs

Ora creiamo il file di configurazione del server GlusterFS /etc/glusterfs/glusterfsd.vol che definisce quale directory verrà esportata (/data/export) e quale client può connettersi (192.168.0.104 =client1.example.com):

vi /etc/glusterfs/glusterfsd.vol
volume posix
  type storage/posix
  option directory /data/export
end-volume

volume locks
  type features/locks
  subvolumes posix
end-volume

volume brick
  type performance/io-threads
  option thread-count 8
  subvolumes locks
end-volume

volume server
  type protocol/server
  option transport-type tcp/server
  option auth.addr.brick.allow 192.168.0.104
  subvolumes brick
end-volume

Si noti che è possibile utilizzare caratteri jolly per gli indirizzi IP (come 192.168.*) e che è possibile specificare più indirizzi IP separati da virgole (es. 192.168.0.104,192.168.0.105).

Successivamente creiamo il seguente collegamento simbolico...

ln -s /usr/local/sbin/glusterfsd /sbin/glusterfsd

... e quindi i collegamenti di avvio del sistema per il server GlusterFS e avviarlo:

chkconfig --levels 35 glusterfsd su
/etc/init.d/glusterfsd start

3 Configurazione del client GlusterFS

client1.example.com:

GlusterFS non è disponibile come pacchetto per CentOS 5.4, quindi dobbiamo costruirlo noi stessi. Per prima cosa installiamo i prerequisiti:

yum groupinstall 'Development Tools'
yum groupinstall 'Development Libraries'
yum install libibverbs-devel fuse-devel

Quindi carichiamo il modulo del kernel fuse...

modprobe fuse

... e crea il file /etc/rc.modules con i seguenti contenuti in modo che il modulo fuse kernel venga caricato automaticamente ogni volta che il sistema si avvia:

vi /etc/rc.modules
modprobe fuse

Rendi eseguibile il file:

chmod +x /etc/rc.modules

Quindi scarichiamo i sorgenti di GlusterFS 2.0.9 (si noti che questa è la stessa versione installata sul server!) e costruiamo GlusterFS come segue:

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.9.tar.gz
tar xvfz glusterfs-2.0.9.tar .gz
cd glusterfs-2.0.9
./configure

Alla fine del comando ./configure, dovresti vedere qualcosa del genere:

[...]
GlusterFS configure sommario
============================
FUSE client         :sì
Verbi Infiniband   : sì
epoll IO multiplex : sì
Berkeley-DB        : sì
libglusterfsclient : sì
argp-standalone    : no

make &&make install
ldconfig

Controlla la versione GlusterFS in seguito (dovrebbe essere 2.0.9):

glusterfs --version

[[email protected] glusterfs-2.0.9]# glusterfs --version
glusterfs 2.0.9 costruito il 1 marzo 2010 15:58:06
Revisione del repository:v2.0.9
Copyright ( c) 2006-2009 Gluster Inc.
GlusterFS viene fornito con ASSOLUTAMENTE NESSUNA GARANZIA.
È possibile ridistribuire copie di GlusterFS secondo i termini della GNU General Public License.
[[email protected] glusterfs-2.0.9]#

Quindi creiamo le seguenti due directory:

mkdir /mnt/glusterfs
mkdir /etc/glusterfs

Quindi creiamo il file /etc/glusterfs/glusterfs.vol:

vi /etc/glusterfs/glusterfs.vol
volume remote1
  type protocol/client
  option transport-type tcp/client
  option remote-host server1.example.com
  option remote-subvolume brick
end-volume

volume remote2
  type protocol/client
  option transport-type tcp/client
  option remote-host server2.example.com
  option remote-subvolume brick
end-volume

volume remote3
  type protocol/client
  option transport-type tcp/client
  option remote-host server3.example.com
  option remote-subvolume brick
end-volume

volume remote4
  type protocol/client
  option transport-type tcp/client
  option remote-host server4.example.com
  option remote-subvolume brick
end-volume

volume stripe
  type cluster/stripe
  option block-size 1MB
  subvolumes remote1 remote2 remote3 remote4
end-volume

volume writebehind
  type performance/write-behind
  option window-size 1MB
  subvolumes stripe
end-volume

volume cache
  type performance/io-cache
  option cache-size 512MB
  subvolumes writebehind
end-volume

Assicurati di utilizzare i nomi host del server o gli indirizzi IP corretti nelle righe dell'host remoto dell'opzione!

Questo è tutto! Ora possiamo montare il filesystem GlusterFS su /mnt/glusterfs con uno dei seguenti due comandi:

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

o

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Ora dovresti vedere la nuova condivisione negli output di...

mount

[[email protected] ~]# mount
/dev/mapper/VolGroup00-LogVol00 on / type ext3 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts su /dev/pts tipo devpts (rw,gid=5,mode=620)
/dev/sda1 su /boot tipo ext3 (rw)
tmpfs su / dev/shm tipo tmpfs (rw)
none su /proc/sys/fs/binfmt_misc tipo binfmt_misc (rw)
sunrpc su /var/lib/nfs/rpc_pipefs tipo rpc_pipefs (rw)
glusterfs#/etc/glusterfs/glusterfs.vol su /mnt/glusterfs type fuse (rw,allow_other,default_permissions,max_read=131072)
[[email protected] ~]#

... e...

df -h

[[email protected] ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      29G   2.2G   25/ tmpfs 187m 0 187m 0%/dev/shm
glusterfs#/etc/glusterfs/glusterfs.vol
112g 2.3g 110g 2%/ mnt/glusterfs
[[email protected] ~]#

(server1.example.com, server2.example.com, server3.example.com e server4.example.com hanno ciascuno circa 28 GB di spazio per il filesystem GlusterFS, in modo che la condivisione risultante abbia una dimensione di circa 4 x 28 GB ( 112GB).)

Invece di montare manualmente la condivisione GlusterFS sul client, è possibile modificare /etc/fstab in modo che la condivisione venga montata automaticamente all'avvio del client.

Apri /etc/fstab e aggiungi la seguente riga:

vi /etc/fstab  
[...]
/etc/glusterfs/glusterfs.vol  /mnt/glusterfs  glusterfs  defaults  0  0

Per verificare se il tuo /etc/fstab modificato funziona, riavvia il client:

reboot

Dopo il riavvio, dovresti trovare la condivisione negli output di... 

df -h

... e...

mount

4 Test

Ora creiamo un grande file di prova sulla condivisione GlusterFS:

client1.example.com:

dd if=/dev/zero of=/mnt/glusterfs/test.img bs=1024k count=1000
ls -l /mnt/glusterfs

[[email protected] ~]# ls -l /mnt/glusterfs
total 1024032
-rw-r--r-- 1 radice radice 1048576000 2010-02-23 17:31 test.img
[[email protetta] ~]#

Ora controlliamo la directory /data/export su server1.example.com, server2.example.com, server3.example.com e server4.example.com. Dovresti vedere il file test.img su ogni nodo, ma con dimensioni diverse (a causa dello striping dei dati):

server1.example.com:

ls -l /data/export

[[email protetta] ~]# ls -l /data/export
totale 256008
-rw-r--r-- 1 radice radice 1045430272 2010-02-23 17:31 test.img
[[email protetta] ~]#

server2.example.com:

ls -l /data/export

[[email protetta] ~]# ls -l /data/export
totale 256008
-rw-r--r-- 1 radice radice 1046478848 2010-02-23 17:27 test.img
[[email protetta] ~]#

server3.example.com:

ls -l /data/export

[[email protetta] ~]# ls -l /data/export
totale 256008
-rw-r--r-- 1 radice radice 1047527424 2010-02-23 17:26 test.img
[[email protetta] ~]#

server4.example.com:

ls -l /data/export

[[email protetta] ~]# ls -l /data/export
totale 256008
-rw-r--r-- 1 radice radice 1048576000 2010-02-23 17:30 test.img
[[email protetta] ~]#

5 link

  • GlusterFS:http://www.gluster.org/
  • CentOS:http://www.centos.org/

Cent OS

  1. Archiviazione ad alta disponibilità con GlusterFS su Debian 8 - Mirroring su due server di archiviazione

  2. Archiviazione ad alta disponibilità con GlusterFS su CentOS 7 - Mirroring su due server di archiviazione

  3. Archiviazione distribuita su quattro nodi di archiviazione con GlusterFS 3.2.x su Ubuntu 12.10

  4. Archiviazione replicata distribuita su quattro nodi di archiviazione con GlusterFS su Fedora 12

  5. Striping su quattro nodi di archiviazione con GlusterFS su Fedora 12

Archiviazione distribuita su quattro nodi di archiviazione con GlusterFS su CentOS 5.4

Archiviazione ad alta disponibilità con GlusterFS 3.2.x su CentOS 6.3 - Replica automatica dei file (mirror) su due server di archiviazione

Striping su quattro nodi di archiviazione con GlusterFS 3.2.x su CentOS 6.3

Archiviazione distribuita su quattro nodi di archiviazione con GlusterFS 3.2.x su CentOS 6.3

Archiviazione replicata distribuita su quattro nodi di archiviazione con GlusterFS 3.2.x su CentOS 6.3

Archiviazione distribuita su quattro nodi di archiviazione con GlusterFS su Fedora 12