Prova prima a ordinare:
cat .temp_occ | sort| uniq -c | sort -k1,1nr -k2 > distribution.txt
Oppure usa "sort -u" che elimina anche i duplicati. Vedi qui.
La dimensione del file non ha nulla a che fare con ciò che stai vedendo. Dalla pagina man di uniq(1):
Nota:'uniq' non rileva le righe ripetute a meno che non siano adiacenti. Potresti voler ordinare prima l'input o usare 'sort -u' senza 'uniq'. Inoltre, i confronti rispettano le regole specificate da 'LC_COLLATE'.`
Quindi esegui uniq su
a
b
a
restituirà:
a
b
a