Ho avuto anche questo problema. È bastato rinominare il CER in PEM :)
Come spiegato da ssl.com, un file .cer può essere codificato in der o pem. Se è nella codifica der, dovrai eseguire la conversione come hai provato, ma se è già nella codifica pem, non è necessaria alcuna conversione e ottieni l'errore che hai se provi - e puoi semplicemente rinominare il file.
Se non sei sicuro, è bene sapere che .der è un formato binario, mentre .pem è un formato ascii. Se echi il contenuto del tuo certificato, un file .pem sarebbe simile a questo:
-----BEGIN CERTIFICATE-----
MIIEuTCCA6G[snip lots of chars]
XmCpajQ==
-----END CERTIFICATE-----
E un file .der sarebbe simile a questo:
0▒▒0▒▒▒@*▒H▒▒▒▒▒0
0▒▒1
0 UUS10U
VeriSign, Inc.10U
VeriSign Trust Network1:08U