Soluzione 1:
Puoi utilizzare TinyCA, un front-end grafico per OpenSSL che ti consente di gestire le attività di un'autorità di certificazione.
Fai attenzione che a volte il sito web di TinyCA sembra difficile da raggiungere.
Soluzione 2:
Raccomando di usare OpenCA e qui c'è la guida all'installazione. Questa è una suite PKI completa, che include un server OCSP per revocare immediatamente i certificati. Ha anche un server PKI Resource Protocol. Ho usato personalmente OpenCA ed è quello che vuoi.
Se ti piacciono davvero RedHat e Java, allora potresti voler utilizzare RedHat Certificate System.
Soluzione 3:
Dai un'occhiata a questo:http://novosial.org/openssl/ca/
E per l'intero flusso di lavoro:http://novosial.org/openssl/