Molte distribuzioni hanno qualche funzione per un'installazione minima; essenzialmente dove selezioni manualmente solo quei pacchetti che desideri esplicitamente installare. Debian ha questa capacità e sarebbe una scelta migliore, nella tua situazione, rispetto all'altro ovvio concorrente minimo, Arch Linux.
Lo stato di rilascio progressivo di Arch può fornire un livello di complessità continua che desideri evitare. Debian fornirebbe la base semplice e minima che stai cercando oltre a offrire stabilità. C'è un post sul blog sull'uso di Debian come chiosco che può offrire alcuni consigli utili.
Per un browser, come suggerisce beav_35, Uzbl è una buona scelta. La mia raccomandazione sarebbe Vimprobable, un browser WebKit che è scriptabile, guidato da tastiera e può essere controllato efficacemente tramite SSH.
Come gestore di finestre, consiglierei dwm:con meno di 2000 SLOC, è estremamente leggero e può essere facilmente configurato per una configurazione di tipo chiosco.
Prima di tutto, potresti non voler reinventare la ruota... Esistono diverse distribuzioni incentrate sui chioschi. Uno di questi potrebbe farti risparmiare molto lavoro.
In secondo luogo, se hai familiarità con Kickstart su Fedora e RHEL (o CentOS o Scientific Linux), puoi utilizzare gli strumenti Fedora per creare il tuo giro di una qualsiasi di queste distribuzioni. La documentazione è un po' sparsa, ma inizia qui.
Inizia con una distribuzione minima come Arch Linux, quindi installa i pacchetti di cui hai bisogno. Per un semplice browser web prova Uzbl.