Soluzione 1:
Puoi usare il zpool status -D poolname comando.
L'output sarà simile a:
[email protected]:/volumes# zpool status -D vol1
pool: vol1
state: ONLINE
scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013
DDT entries 2459286, size 481 on disk, 392 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 2.23M 35.6G 19.0G 19.0G 2.23M 35.6G 19.0G 19.0G
2 112K 1.75G 1005M 1005M 240K 3.75G 2.09G 2.09G
4 8.03K 129M 73.8M 73.8M 35.4K 566M 324M 324M
8 434 6.78M 3.16M 3.16M 4.61K 73.8M 35.4M 35.4M
16 119 1.86M 811K 811K 2.33K 37.3M 15.3M 15.3M
32 24 384K 34.5K 34.5K 1.13K 18.1M 1.51M 1.51M
64 19 304K 19K 19K 1.63K 26.1M 1.63M 1.63M
128 7 112K 7K 7K 1.26K 20.1M 1.26M 1.26M
256 3 48K 3K 3K 1012 15.8M 1012K 1012K
512 3 48K 3K 3K 2.01K 32.1M 2.01M 2.01M
1K 2 32K 2K 2K 2.61K 41.7M 2.61M 2.61M
2K 1 16K 1K 1K 2.31K 36.9M 2.31M 2.31M
Total 2.35M 37.5G 20.1G 20.1G 2.51M 40.2G 21.5G 21.5G
I campi importanti sono il Totale blocchi allocati e il Totale blocchi referenziati. Nell'esempio sopra, ho un basso rapporto di deduplicazione. 40.2G è memorizzato su disco in 37.5G di spazio. O 2,51 milioni di blocchi in 2,35 milioni di blocchi di spazio.
Per ottenere la dimensione effettiva della tabella, vedere:
Voci DDT 2459286, dimensione 481 su disco, 392 nel core
2459286*392=964040112 byte Dividi per 1024 e 1024 per ottenere:919,3 MB di RAM .
Soluzione 2:
Dopo aver letto il thread email originale e @ewwhite risposta che lo ha chiarito, penso che questa domanda necessiti di una risposta aggiornata, poiché la risposta sopra copre solo metà di essa.
Ad esempio, usiamo l'output sul mio pool. Ho usato il comando zdb -U /data/zfs/zpool.cache -bDDD My_pool . Sul mio sistema avevo bisogno del -U in più arg per individuare il file di cache ZFS per il pool, che FreeNAS memorizza in una posizione diversa dal normale; potresti aver bisogno o meno di farlo. Generalmente prova zdb senza -U prima, e se ottieni un errore di file di cache, allora usa find / -name "zpool.cache" o simile per individuare il file di cui ha bisogno.
Questo era il mio output effettivo e l'ho interpretato di seguito:
DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
DDT histogram (aggregated over all DDTs):
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Cosa significa tutto questo e calcolo delle dimensioni effettive della tabella di deduplicazione:
L'output mostra due sottotabelle, una per i blocchi in cui esiste un duplicato (DDT-sha256-zap-duplicate ) e uno per i blocchi in cui non esistono duplicati (DDT-sha256-zap-unique )/. La terza tabella sotto di loro fornisce un totale complessivo di entrambi, e sotto c'è una riga di riepilogo. Guardando solo le righe "totali" e il riepilogo ci dà ciò di cui abbiamo bisogno:
Dimensione DDT per tutti i blocchi che compaiono più di una volta ("DDT-sha256-zap-duplicato") :
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")Dimensioni DDT per blocchi univoci ("DDT-sha256-zap-unique") :
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")Statistiche DDT totali per tutte le voci DDT, duplicati + univoci ("Istogramma DDT aggregato su tutti i DDT") :
allocated referenced (= disk space actually used) (= amount of data deduped into that space) ______ ______________________________ ______________________________ blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE Total 5.16M 638G 576G 578G 6.64M 803G 712G 715GRiepilogo :
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Facciamo un po' di calcoli numerici.
-
Il conteggio dei blocchi funziona così: Numero di voci relative a blocchi duplicati =771295, numero di voci relative a blocchi univoci =4637966, le voci totali nella tabella DDT dovrebbero essere 771295+4637966 =5409261. Quindi il numero di blocchi in milioni (ovvero milioni binari!) sarebbe 5409261 / (1024^2) =5,158 milioni. Nel riepilogo troviamo che ci sono 5,16 milioni di blocchi in totale .
-
La RAM necessaria funziona così: Le 771295 voci per i blocchi duplicati occupano ciascuna 165 byte nella RAM e le 4637966 voci per i blocchi univoci occupano ciascuna 154 byte nella RAM, quindi la RAM totale necessaria per la tabella di deduplicazione in questo momento =841510439 byte =841510439 / (1024^2) MByte =803 MB =0,78 GB di RAM .
(Le dimensioni su disco utilizzate possono essere calcolate allo stesso modo, utilizzando le cifre "dimensioni su disco". Chiaramente ZFS sta cercando di utilizzare l'I/O su disco in modo efficiente e sfruttando il fatto che lo spazio su disco occupato dal DDT non è "normalmente non è un problema. Quindi sembra che ZFS stia semplicemente allocando un settore completo di 512 byte per ogni voce, o qualcosa del genere, invece di solo 154 o 165 byte, per mantenerlo efficiente. Ciò potrebbe non includere alcuna tolleranza per più copie conservate su disco, cosa che di solito fa ZFS.) -
La quantità totale di dati archiviati e il vantaggio derivante dalla loro deduplicazione: Dalle statistiche DDT totali, 715 Gbyte ("715G") di dati vengono archiviati utilizzando solo 578 GByte ("578G") di spazio di archiviazione allocato sui dischi. Quindi il nostro rapporto di risparmio di spazio deduplicato è (715 GB di dati)/(578 GB di spazio utilizzato dopo la deduplicazione) =1,237 x, che è quanto ci dice il riepilogo ("dedup =1,24").