Ecco il test corretto e portabile che non presuppone x86 o altro:
#include <stdint.h>
#if UINTPTR_MAX == 0xffffffff
/* 32-bit */
#elif UINTPTR_MAX == 0xffffffffffffffff
/* 64-bit */
#else
/* wtf */
#endif
Dato che hai taggato questo "gcc", prova
#if __x86_64__
/* 64-bit */
#endif