limits.conf viene letto da pam_limits.so , quindi devi controllare che questo modulo sia abilitato in /etc/pam.d/su . Sul mio sistema, questo era commentato per impostazione predefinita:
# Sets up user limits, please uncomment and read /etc/security/limits.conf
# to enable this functionality.
# (Replaces the use of /etc/limits in old login)
# session required pam_limits.so
Una volta decommentato, il modulo inizierà a funzionare immediatamente. Se hai ancora problemi, controlla il tuo registro di autenticazione (forse /var/log/auth.log ), che è dove verranno scritti gli errori relativi ai limiti.