Le tue chiavi SSH non dovrebbero vengono aggiunti automaticamente all'agente solo perché hai effettuato l'accesso tramite SSH a un server...
Esegui ssh-add -l per elencare le chiavi dell'agente, ssh-add -D per ripulire tutte le chiavi.
Un altro modo per limitare le chiavi rispetto alle quali vengono verificate è aggiungere IdentitiesOnly yes a /.ssh/config e un elenco di voci
IdentityFile ~/.ssh/<nameofkey>
Puoi anche aggiungerli a ciascuna voce Host:
Host server-name
HostName <ipaddress>
User <username>
IdentityFile ~/.ssh/<nameofkey>
SSH Man Page ha anche più opzioni.