Disattiva lo scambio o usa mlockall() per impedire che la memoria del processo venga scambiata. Esistono limiti di processo e di sistema sul numero di pagine che possono essere bloccate, che potrebbero dover essere adattate ai tuoi scopi.
Dai un'occhiata qui. Facendo eco a un valore compreso tra 0 e 100 in /proc/sys/vm/swappiness , puoi controllare l'entusiasmo dello scambio (0 indica poco entusiasmo, mentre 100 è molto entusiasmo).