cat per emettere il contenuto, reindirizzato a sort per ordinarli, reindirizzato a uniq per stampare i valori univoci:
cat test1.txt | sort | uniq
non è necessario eseguire il sort parte se i contenuti del file sono già ordinati.
Se non ti dispiace che l'output venga ordinato, usa
sort -u
Questo ordina e rimuove i duplicati
Come eseguire lo script della shell come servizio Systemd in Linux
Come creare un file in Linux usando Cat Command
Come bloccare un file di testo in Linux usando il comando flock
Come stampare righe duplicate in un file di testo in Linux
Come mescolare le linee in un file in Linux
Come invertire le righe in un file in base al carattere in Linux