Soluzione 1:
Puoi aggiungere sezioni "Match" per abbinare utenti o gruppi particolari nella parte inferiore di sshd_config, come:
Match user stew
PasswordAuthentication no
o
Match group dumbusers
PasswordAuthentication no
Soluzione 2:
Basta bloccare le password degli utenti a cui non vuoi accedere con password:
usermod -L <user>
Quindi, inserisci una chiave pubblica valida nel loro .ssh/authorized_keys
file e potranno accedere solo con la chiave privata corrispondente, ma non con una password.
Nota: Ciò interromperà sudo a meno che l'utente non abbia NOPASSWD:nella voce visudo