In un caso molto simile, era uno degli script update-motd.
Quanto segue ha funzionato:
sudo rm /etc/update-motd.d/90-updates-available
Ecco un piccolo aiuto che misura il tempo di ogni script:
$ for f in /etc/update-motd.d/*;do echo $f;time $f;done
/etc/update-motd.d/00-header 0m0.007s
/etc/update-motd.d/10-help-text 0m0.005s
/etc/update-motd.d/90-updates-available 0m49.163s
/etc/update-motd.d/91-release-upgrade 0m0.152s
/etc/update-motd.d/98-fsck-at-reboot 0m0.015s
/etc/update-motd.d/98-reboot-required 0m0.003s
(output reduced to the relevant parts)
pam_krb5.so è stato configurato per acquisire token AFS per una shell inesistente che aveva un timeout di 30 secondi che interrompeva qualsiasi autenticazione utilizzando quel modulo, non solo SSH. Rimosso quello e l'autenticazione avviene molto più velocemente.
Se il tuo server ssh ha attivato la mappatura DNS inversa, potrebbe essere la causa del ritardo, cerca VerifyReverseMapping
nell'/etc/ssh/sshd_config
file del server.