Ho scoperto la risposta alla mia domanda, grazie all'aiuto di womble (invia una risposta se vuoi).
lsof -s
mostra gli handle di file in uso e risulta che c'erano diversi gigabyte di file di registro mmap che occupavano la cache.
L'implementazione di un logrotate dovrebbe risolvere completamente il problema e consentirmi di sfruttare più memoria.
Riattiverò anche lo scambio in modo da non avere problemi con il killer OOM in futuro. Grazie.