Nei documenti di Passenger il capitolo "Metodo generico di installazione, aggiornamento e downgrade:tramite RubyGems" ne discute. Fondamentalmente, una volta installata la gemma Passenger, nginx deve essere ricompilato (e quindi utilizzato al posto di yum/apt-get-installed nginx se ne esiste uno). L'utility di compilazione/configurazione di Passenger "passenger-install-nginx-module" lo fa per te (fa parte della gemma di Passenger) e include automaticamente gli switch necessari per Passenger. Ti dà anche la possibilità di aggiungere i tuoi switch (ad esempio per moduli aggiuntivi o per abilitare/disabilitare le funzionalità integrate di NGiNX).
Penso che il tuo problema sia che il modulo passeggero non è presente in nginx.
Tutte le direttive dipendenti dal passeggero che hai descritto (passenger_root, passenger_ruby, passenger_enabled) sono disponibili solo quando il modulo passeggero è collegato a nginx. Questo è il motivo per cui devi compilare nginx con --add-module='/path/to/passenger-3.0.9/ext/nginx' .
Sfortunatamente, non conosco alcun metodo per abilitare il modulo passeggero senza reinstallare nginx. Ma, secondo http://wiki.nginx.org/Modules, "i moduli Nginx devono essere selezionati in fase di compilazione.", quindi potrebbe esserci la possibilità che non ci sia un modo per farlo.