Questo tutorial mostra come configurare uno storage ad alta disponibilità con due server di storage (Debian Squeeze) che utilizzano GlusterFS. Ciascun server di archiviazione sarà un mirror dell'altro server di archiviazione e i file verranno replicati automaticamente su entrambi i server di archiviazione. Il sistema client (anche Debian Squeeze) sarà in grado di accedere allo storage come se fosse un filesystem locale.GlusterFS è un filesystem in cluster in grado di scalare a diversi petabyte. Aggrega vari blocchi di archiviazione su Infiniband RDMA o interconnessione TCP/IP in un unico file system di rete parallelo di grandi dimensioni. I mattoni di archiviazione possono essere realizzati con qualsiasi hardware di consumo come server x86_64 con RAID SATA-II e HBA Infiniband.
Non garantisco che questo funzionerà per te!
1 Nota preliminare
In questo tutorial utilizzo tre sistemi, due server e un client:
- server1.example.com:indirizzo IP 192.168.0.100 (server)
- server2.example.com:indirizzo IP 192.168.0.101 (server)
- client1.example.com:indirizzo IP 192.168.0.102 (client)
Tutti e tre i sistemi dovrebbero essere in grado di risolvere i nomi host degli altri sistemi. Se ciò non può essere fatto tramite DNS, dovresti modificare il file /etc/hosts in modo che appaia come segue su tutti e tre i sistemi:
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 client1.example.com client1 # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts |
(È anche possibile utilizzare indirizzi IP invece di nomi host nella configurazione seguente. Se preferisci utilizzare indirizzi IP, non devi preoccuparti se i nomi host possono essere risolti o meno.)
2 Configurazione dei server GlusterFS
server1.example.com/server2.example.com:
GlusterFS è disponibile come pacchetto per Debian Squeeze, quindi possiamo installarlo come segue:
apt-get install glusterfs-server
Il comando
glusterfs --version
ora dovrebbe mostrare la versione GlusterFS che hai appena installato (3.0.5 in questo caso):
[email protetto]:~# glusterfs --version
glusterfs 3.0.5 costruito il 13 luglio 2010 16:44:21
Revisione del repository:v3.0.5
Copyright (c) 2006-2009 Gluster Inc.
GlusterFS viene fornito con ASSOLUTAMENTE NESSUNA GARANZIA.
È possibile ridistribuire copie di GlusterFS secondo i termini della GNU General Public License.
[ e-mail protetta]:~#
Quindi creiamo alcune directory:
mkdir /data/
mkdir /data/export
mkdir /data/export-ns
Ora creiamo il file di configurazione del server GlusterFS /etc/glusterfs/glusterfsd.vol (effettuiamo prima un backup del file originale /etc/glusterfs/glusterfsd.vol) che definisce quale directory verrà esportata (/data/export) e quale il client può connettersi (192.168.0.102 =client1.example.com):
cp /etc/glusterfs/glusterfsd.vol /etc/glusterfs/glusterfsd.vol_orig
cat /dev/null> /etc/glusterfs/glusterfsd.vol
vi /etc/glusterfs/glusterfsd.vol
volume posix type storage/posix option directory /data/export end-volume volume locks type features/locks subvolumes posix end-volume volume brick type performance/io-threads option thread-count 8 subvolumes locks end-volume volume server type protocol/server option transport-type tcp option auth.addr.brick.allow 192.168.0.102 subvolumes brick end-volume |
Si noti che è possibile utilizzare caratteri jolly per gli indirizzi IP (come 192.168.*) e che è possibile specificare più indirizzi IP separati da virgola (es. 192.168.0.102,192.168.0.103).
Successivamente avviamo il server GlusterFS:
/etc/init.d/glusterfs-server start
3 Configurazione del client GlusterFS
client1.example.com:
Sul client, possiamo installare il client GlusterFS come segue:
apt-get install glusterfs-client
Quindi creiamo la seguente directory:
mkdir /mnt/glusterfs
Quindi creiamo il file /etc/glusterfs/glusterfs.vol (effettuiamo prima un backup del file originale /etc/glusterfs/glusterfs.vol):
cp /etc/glusterfs/glusterfs.vol /etc/glusterfs/glusterfs.vol_orig
cat /dev/null> /etc/glusterfs/glusterfs.vol
vi /etc/glusterfs/glusterfs.vol
volume remote1 type protocol/client option transport-type tcp option remote-host server1.example.com option remote-subvolume brick end-volume volume remote2 type protocol/client option transport-type tcp option remote-host server2.example.com option remote-subvolume brick end-volume volume replicate type cluster/replicate subvolumes remote1 remote2 end-volume volume writebehind type performance/write-behind option window-size 1MB subvolumes replicate end-volume volume cache type performance/io-cache option cache-size 512MB subvolumes writebehind end-volume |
Assicurati di utilizzare i nomi host del server o gli indirizzi IP corretti nelle righe dell'host remoto dell'opzione!
Questo è tutto! Ora possiamo montare il filesystem GlusterFS su /mnt/glusterfs con uno dei seguenti due comandi:
glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs
o
mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs
Ora dovresti vedere la nuova condivisione negli output di...
mount
[email protetta]:~# mount
/dev/sda1 on / type ext3 (rw,errors=remount-ro)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc su /proc tipo proc (rw,noexec,nosuid,nodev)
sysfs su /sys tipo sysfs (rw,noexec,nosuid,nodev)
udev su /dev tipo tmpfs (rw,mode=0755)
tmpfs su /dev/shm tipo tmpfs (rw,nosuid,nodev)
devpts su /dev/pts tipo devpts (rw,noexec,nosuid,gid=5,mode =620)
fusectl su /sys/fs/fuse/connections type fusectl (rw)
/etc/glusterfs/glusterfs.vol su /mnt/glusterfs type fuse.glusterfs (rw,allow_other,default_permissions, max_read=131072)
[email protetta]:~#
... e...
df -h
[Email Protected]:~#df -h
Dimensione del filesystem utilizzato Disponibile Uso%montato su
/dev/sda1 29g 778m 27g 3%/
tmpfs 249m 0 249m 0%/lib/init /RW
UDEV 244M 100K 244M 1%/dev
tmpfs 249m 0 249m 0%/dev/shm
/etc/glusfs/glusfs.vol
18g 848m 16g 5%/ mnt/glusterfs
[email protetta]:~#
(server1.example.com e server2.example.com hanno ciascuno 18 GB di spazio per il filesystem GlusterFS, ma poiché i dati sono sottoposti a mirroring, il client non vede 36 GB (2 x 18 GB), ma solo 18 GB.)
Invece di montare manualmente la condivisione GlusterFS sul client, è possibile modificare /etc/fstab in modo che la condivisione venga montata automaticamente all'avvio del client.
Apri /etc/fstab e aggiungi la seguente riga:
vi /etc/fstab
[...] /etc/glusterfs/glusterfs.vol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |
Per verificare se il tuo /etc/fstab modificato funziona, riavvia il client:
reboot
Dopo il riavvio, dovresti trovare la condivisione negli output di...
df -h
... e...
mount
Se la modifica di /etc/fstab non aiuta, annulla la modifica a /etc/fstab e aggiungi questa riga a /etc/rc.local invece (prima della riga 0 di uscita):
vi /etc/rc.local
[...] /bin/mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs [...] |
Ciò assicura che la condivisione venga montata dopo che la rete è attiva.
4 Test
Ora creiamo alcuni file di prova sulla condivisione GlusterFS:
client1.example.com:
tocca /mnt/glusterfs/test1
tocca /mnt/glusterfs/test2
Ora controlliamo la directory /data/export su server1.example.com e server2.example.com. I file test1 e test2 dovrebbero essere presenti su ogni nodo:
server1.example.com/server2.example.com:
ls -l /data/export
[email protetta]:~# ls -l /data/export
totale 0
-rw-r--r-- 1 radice radice 0 2012-03-29 14:51 test1
-rw-r--r-- 1 radice radice 0 2012-03-29 14:51 test2
[email protetta]:~#
Ora chiudiamo server1.example.com e aggiungiamo/eliminiamo alcuni file sulla condivisione GlusterFS su client1.example.com.
server1.example.com:
shutdown -h now
client1.example.com:
touch /mnt/glusterfs/test3
touch /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2
Le modifiche dovrebbero essere visibili nella directory /data/export su server2.example.com:
server2.example.com:
ls -l /data/export
[email protetta]:~# ls -l /data/export
totale 0
-rw-r--r-- 1 radice radice 0 2012-03-29 14:51 test1
-rw-r--r-- 1 radice radice 0 2012-03-29 14:52 test3
-rw-r--r-- 1 radice radice 0 2012-03-29 14:52 test4
[email protetta]:~#
Avviamo nuovamente server1.example.com e diamo un'occhiata alla directory /data/export:
server1.example.com:
ls -l /data/export
[email protetta]:~# ls -l /data/export
totale 0
-rw-r--r-- 1 radice radice 0 2012-03-29 14:51 test1
-rw-r--r-- 1 radice radice 0 2012-03-29 14:51 test2
[email protetta]:~#
Come vedi, server1.example.com non ha notato le modifiche avvenute mentre era inattivo. Questo è facile da risolvere, tutto ciò che dobbiamo fare è invocare un comando di lettura sulla condivisione GlusterFS su client1.example.com, ad esempio:
client1.example.com:
ls -l /mnt/glusterfs/
[email protetta]:~# ls -l /mnt/glusterfs/
totale 8
-rw-r--r-- 1 radice radice 0 2012-03-29 14:51 test1
-rw-r--r-- 1 radice radice 0 2012-03-29 14:52 test3
-rw-r--r-- 1 radice radice 0 2012-03-29 14:52 test4
[email protetta]:~#
Ora dai un'occhiata alla directory /data/export su server1.example.com e dovresti vedere che le modifiche sono state replicate su quel nodo:
server1.example.com:
ls -l /data/export
[email protetta]:~# ls -l /data/export
totale 8
-rw-r--r-- 1 radice radice 0 2012-03-29 14:51 test1
-rw-r--r-- 1 radice radice 0 2012-03-29 14:52 test3
-rw-r--r-- 1 radice radice 0 2012-03-29 14:52 test4
[email protetta]:~#
5 link
- GlusterFS:http://www.gluster.org/
- Debian:http://www.debian.org/