L'opzione per farlo esiste da (almeno) aprile 2014.
Dovrai installare un pacchetto chiamato pam_ssh_agent_auth (disponibile per Centos 7 pronto all'uso, YMMV), quindi configura /etc/pam.d/sudo accettarlo come metodo di autorizzazione. Infine, potresti dover aggiungere SSH_AUTH_SOCK all'elenco delle variabili d'ambiente che persistono durante sudo .
Il wiki di Gentoo contiene i dettagli per questi passaggi.