Rimuovi la cartella principale e le cartelle ~/.PhpStorm*. Dovrebbe bastare.
sudo rm -R ~/.PhpStorm*
Di solito non puoi disinstallare i file installati senza il tuo gestore di pacchetti semplicemente cancellando la directory che hai estratto, anche se questo spesso è vero per gli archivi basati su Java.
Non conosco phpstorm nello specifico, ma posso darti alcune istruzioni generiche.
La prima cosa che ti consiglio di fare è controllare se phpstorm stesso include una sorta di script di disinstallazione. Immagino che tu l'abbia già fatto, però.
In caso contrario, dovresti aprire un terminale e digitare whereis phpstorm - questo dovrebbe dirti dove si trova la maggior parte dei file ad esso associati. Potresti quindi provare a eliminarli manualmente. Anche /etc e /usr/share sono alcuni posti probabili in cui cercare.
Puoi anche cercare tra i file nascosti nella tua cartella home per uno chiamato .phpstorm o simili. Questo probabilmente conterrebbe la maggior parte della configurazione e non credo verrebbe visualizzato con il comando "whereis".
Questo è tutto ciò a cui riesco a pensare dalla cima della mia testa se le scorciatoie e simili sono già sparite, ma potrebbe fare il lavoro. Questo è un modo disordinato e brutto di fare le cose e potrebbe lasciare qualcosa dietro:prova a installare con il tuo gestore di pacchetti quando possibile.
Su Ubuntu, dopo essere tornato a netbeans ho anche trovato tracce di phpstorm nascoste sotto ~/.java/.userPrefs/prefs.xml