Prova a impostare LIBRARY_PATH , invece di LD_LIBRARY_PATH .
Dal gcc pagina man:
LIBRARY_PATH
Il valore di LIBRARY_PATH è un elenco di directory separate da due punti, molto simile a PATH. Quando è configurato come compilatore nativo, GCC prova le directory così specificate durante la ricerca di speciali file linker, se non riesce a trovarli utilizzando GCC_EXEC_PREFIX. Il collegamento tramite GCC utilizza anche queste directory durante la ricerca di librerie ordinarie per l'opzione -lo (ma le directory specificate con -L vengono prima).
Assicurati di esportare LD_LIBRARY_PATH dopo averlo modificato. Altrimenti GCC non sarà in grado di vedere la versione modificata.
LD_LIBRARY_PATH=/usr/lib/gcc/x86_64-redhat-linux/3.4.6:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH
gcc -o test test.c -lg2c