Come cercare una stringa all'interno di molti file .gz nella sottocartella del bucket Amazon S3? Ho provato a montarlo tramite s3fs e zgrep ma è mooooolto lento. Usi altri metodi?
Forse c'è qualche servizio Amazon che potrei usare per zgrep rapidamente?
Risposta accettata:
Trovo che il modo più rapido sia copiarli prima in locale, quindi eseguire uno zgrep locale:
aws s3 cp s3://bucket/containing/the/logs . --recursive
Questo copierà (cp ) tutti i log nella directory corrente (. ) e includi anche tutte le sottocartelle (--recursive ).
Quindi un zgrep locale :
zgrep "search words" *.gz
Oppure per cercare ricorsivamente anche le sottodirectory:
find -name \*.gz -print0 | xargs -0 zgrep "STRING"
(Preso da unix.stackexchange.com.)