Divisione dei file di registro compressi con gzip senza memorizzare le divisioni decompresse su disco

Potrebbe bastare uno script come il seguente.

#!/usr/bin/perl
use PerlIO::gzip;

$filename = 'out';
$limit = 500000;

$fileno = 1;
$line = 0;

while (<>) {
    if (!$fh || $line >= $limit) { 
        open $fh, '>:gzip', "$filename_$fileno"; 
        $fileno++;
        $line = 0; 
    }
    print $fh $_; $line++;
}

Puoi usare lo split --filter opzione come spiegato nel manuale, ad es.

zcat biglogfile.gz | split -l500000 --filter='gzip > $FILE.gz'

Modifica:non consapevole quando --filter l'opzione è stata introdotta ma, secondo i commenti, non funziona in core utils 8.4 .