Il vero problema era che il mio utente in qualche modo mancava in `/etc/shadow.
Lascerò che questa domanda rimanga aperta per un po' di tempo in modo che le persone possano inserire qui ulteriori consigli per la risoluzione dei problemi.
Inoltre, assicurati che le autorizzazioni su ~/.ssh siano 700 e ~/.ssh/authorized_keys sia 600. Il server non ti consentirà di utilizzare la chiave se le autorizzazioni non sono corrette.