Bibtex non è realmente a conoscenza dell'unicode. Per utilizzare i caratteri estesi, devi utilizzare le sostituzioni Tex standard.
Potresti comunque voler utilizzare biblatex per una migliore gestione degli stili bibliografici; e forse dai un'occhiata a biber, che mira a diventare un sostituto Bibtex compatibile con Unicode.