Supponendo che le parole siano una per riga e che il file sia già ordinato:
uniq filename
Se il file non è ordinato:
sort filename | uniq
Se non sono uno per riga e non ti dispiace che siano uno per riga:
tr -s [:space:] \\n < filename | sort | uniq
Ciò non rimuove la punteggiatura, quindi forse vuoi:
tr -s [:space:][:punct:] \\n < filename | sort | uniq
Ma questo rimuove il trattino dalle parole con trattino. "man tr" per ulteriori opzioni.
ruby -pi.bak -e '$_.split(",").uniq.join(",")' filename ?
Devo ammettere che i due tipi di citazioni sono brutti.