GNU/Linux >> Linux Esercitazione >  >> Linux

Come Gzip file di grandi dimensioni (100 GB+) più velocemente in Linux

Gli utenti Linux e gli amministratori di sistema non mancheranno mai di incrociare i percorsi con le routine di gestione dei file. Man mano che il sistema Linux, i programmi e i file utente crescono da Megabyte a Gigabyte, è sempre necessario comprimere o comprimere alcuni dei file associati al sistema operativo.

[ Potrebbe piacerti anche:Come creare un file di grandi dimensioni da 1 GB o 10 GB in Linux ]

I vantaggi di zippare o comprimere questi file sono i seguenti:

  • Puoi risparmiare e creare spazio di archiviazione aggiuntivo sulla tua macchina Linux.
  • Dato che Linux avrà spazio di archiviazione aggiuntivo con cui lavorare, la sua efficienza migliorerà.
  • I file compressi sono più facili da trasferire ad altri ambienti macchina e sistemi.
  • La compressione o la compressione dei file offre un vantaggio di crittografia dei dati.

La maggior parte degli utenti Linux ha familiarità con Gzip come mezzo efficace per comprimere file di grandi dimensioni o creare file zip da dimensioni leggermente maggiori. Gzip viene preinstallato in quasi tutte le distribuzioni del sistema operativo Linux.

Puoi verificarne la disponibilità sul tuo sistema Linux con il seguente comando:

$ gzip --version

Come comprimere file usando Gzip in Linux

Per comprimere un semplice file con Gzip , devi solo eseguire un comando simile al seguente:

$ gzip linuxshelltips_v2.txt

Dovresti trovarti sullo stesso percorso del file che deve essere compresso o compresso quando fai riferimento a gzip sopra comando.

Come comprimere file di grandi dimensioni utilizzando Gzip in Linux

Utilizzo di Gzip per la compressione di file su Linux è veloce ed efficiente fino a quando non inizi a gestire file di grandi dimensioni. Compressione di 100 GB+ i file tramite Gzip impiegano ore inutili per il completamento dell'intero processo di compressione anche quando l'hardware della macchina con specifiche minime della CPU come CPU Core (TM) i3-2350M a 2,30 GHz è insufficiente. E se non avessi così tanto tempo a disposizione?

Gzip è legato a un'attività, il che significa che può eseguire perfettamente un singolo lavoro di compressione di file alla volta. Si occupa solo di file e ignorerà la compressione delle directory.

Nonostante tali limitazioni, le applicazioni non hanno bisogno di estrarre i file compressi con gzip prima di leggerli. Tuttavia, la sua dipendenza da un singolo core del processore fa sì che la compressione di file di grandi dimensioni richieda ore per essere completata.

Alternative Gzip per la compressione elevata in Linux

Anche se il titolo di questo articolo risponde alla necessità di zippare rapidamente file di grandi dimensioni con un'elevata compressione tramite Gzip , abbiamo dovuto affrontare gli svantaggi di Gzip affinché tu possa abbracciare le alternative migliori.

Pigz:comprimi oltre 100 GB di file con compressione elevata

A differenza di Gzip che è orientato al single-core, Pigz è orientato al multi-core e comprimerà anche i file di destinazione in un “.gz” estensione del file.

Ha il vantaggio di un tempo di compressione migliorato quando si tratta di file di grandi dimensioni come 100 GB+ . Pensa a Pigz come versione Gzip multi-thread.

Installa Pigz in Linux

Fai riferimento a uno dei seguenti Pigz comandi di installazione in relazione alla distribuzione del tuo sistema operativo Linux.

$ sudo apt-get install pigz     [On Debian, Ubuntu and Mint]
$ sudo yum install pigz         [On RHEL/CentOS/Fedora and Rocky Linux/AlmaLinux]
$ sudo emerge -a sys-apps/pigz  [On Gentoo Linux]
$ sudo pacman -S pigz           [On Arch Linux]
$ sudo zypper install pigz      [On OpenSUSE]    
Compressione di oltre 100 GB di file con Pigz

Considera le seguenti statistiche sui file di oltre 100 GB:

$ stat LinuxShellTipsBackup.iso

Poiché questo file (LinuxShellTipsBackup.iso ) soddisfa il criterio di essere 100 GB+ , ovvero 164 GB , dovremmo provare a comprimerlo con Pigz .

L'utilizzo del comando dovrebbe essere simile a quello di Gzip.

$ Pigz -9 -k -p4 LinuxShellTipsBackup.iso

Le opzioni del comando:

  • -9 :Fornisce la migliore compressione (compressione alta).
  • -k :conserva il file originale.
  • -p4 :indica a Pigz di utilizzare 4 core del processore poiché è orientato al multi-core.

Più core del processore rendono il processo di compressione più veloce. Il numero di core del processore che scegli di utilizzare dovrebbe dipendere dalle proprietà del processore della tua macchina, ad es. Core i3, Core i5, Core i7.

La dimensione di compressione del file risultante è 156 GB dall'originale 164 GB . Se decidiamo di non conservare il file originale, avremo 8GB (164B-156GB ) di spazio di archiviazione aggiuntivo.

Un'altra cosa buona è che puoi ancora aprire e navigare tra i file archiviati senza necessariamente estrarli.

$ stat LinuxShellTipsBackup.iso.gz

Per decomprimere o estrarre i tuoi file, usa uno dei seguenti comandi:

$ unpigz LinuxShellTipsBackup.iso.gz
or
$ pigz -d LinuxShellTipsBackup.iso.gz

Confronto della velocità di compressione Pigz e Gzip

Confrontiamo la loro velocità di compressione con un file leggermente più piccolo.

Per Pigz,

$ time pigz file.mp4

Per Gzip,

$ time gzip file.mp4

.

Pigz vince con tempi di compressione più rapidi anche senza specificare il numero di core del processore da utilizzare.

Il notevole trucco di zippare file di grandi dimensioni (100 GB+ ) serve per assicurarsi che l'applicazione di zip in uso supporti l'elaborazione multi-core o multi-thread. Tali programmi (ad es. Pigz ) limitare o ridurre l'effetto collo di bottiglia associato alla compressione di file di grandi dimensioni.


Linux
  1. Come rinominare i file in Linux

  2. Come comprimere e decomprimere file in Linux

  3. Come trovare file di grandi dimensioni Linux con i comandi find e du

  4. Come comprimere più file su Linux

  5. Come gzippare una directory in Linux

Come copiare un gran numero di file in Linux

Come installare Pigz per comprimere i file più velocemente in Linux

Come utilizzare più comandi in Linux per leggere file di testo di grandi dimensioni

Come usare gzip in Linux?

Come comprimere un file in Linux

Come installare e utilizzare Pigz per comprimere i file più velocemente in Linux