Come dicono le risposte precedenti, hai strumenti molto potenti come Puppet, chef, cfengine per la gestione avanzata della configurazione.
Ma se desideri uno strumento in grado di eseguire installazioni, gestire facilmente configurazioni, distribuire sistemi da modelli, applicare aggiornamenti o eseguire script personalizzati in remoto... puoi provare una soluzione integrata come SpaceWalk, che è la versione open source di RedHat Satellitare. Nota che può funzionare con altre distribuzioni, non solo Redhat!
Personalmente ho utilizzato la versione commerciale per gestire più di 1000 host.
La parola chiave che stai cercando è gestione della configurazione . Questo è fornito da diversi strumenti:Chef, Puppet o CFEngine, per esempio.
Con questi strumenti puoi dividere i tuoi server in gruppi e quindi eseguire attività su singoli server, singoli gruppi o diversi server/gruppi o tutti i server contemporaneamente. Attività come "Aggiungi il pacchetto X al gruppo www-server", "Cambia i server /etc/resolv.conf DNS dai server del database di gruppo", qualunque cosa tu debba fare, sarà più banale da eseguire dopo lo shock iniziale che incontri a causa della pura quantità di cose che puoi fare con il software CoMa.
Per la gestione degli account utente dico di utilizzare l'LDAP che hai già, Linux lo supporta completamente ed è l'unico modo sensato per fare qualsiasi cosa in un ambiente più grande.
Un'altra alternativa:non hai menzionato quale distro usi, ma se si tratta di Red Hat Enterprise Linux, puoi usare il loro Red Hat Network per gestire gli aggiornamenti del software in modo più granulare, tra le altre cose che può fare.