Ho generato più LiveUSB 18.04.2 e 18.04.3 con persistenza, ma non sono stato in grado di rimuovere in modo permanente le app originali (in particolare Amazon, Mines, Solitaire e Thunderbird) selezionando di eliminarle dalla GUI di GNOME.
Inoltre, ho avviato Software e aggiornamenti, impostato l'origine del download (su mirror.uoregon.edu), aggiunto software gratuito e open source gestito dalla community (universo) , quindi hai installato due app con:
sudo apt install stress stress-ng
Dopo il riavvio, lo stress e lo stress-ng erano spariti; Amazon, Thunderbird e i giochi sono tornati.
Le LiveUSB sono state generate da Pendrive.com Unversal USB Installer (1.9.8.2) e Unetbootin 6.6.1 (così come altre app non più supportate).
Come posso fare questo post hoc, senza il processo di build personalizzata, magari scaricando le modifiche a casper-rw ?
Risposta accettata:
Analisi del problema
Sembra che tu non abbia eseguito sistemi live persistenti, ma sistemi live-only, in cui hai installato e rimosso elementi. Funziona mentre i sistemi sono in esecuzione, ma le modifiche non persistono, scompaiono dopo il riavvio.
-  Forse le tue unità USB hanno la capacità di avviarsi in modalità persistente, ma le hai avviate e/o riavviate solo dal vivo. L'opzione di avvio persistentfa la differenza.
-  Forse gli strumenti che hai usato non sono ancora aggiornati per funzionare per la persistenza in Ubuntu 18.04.3 LTS. 
-  Forse ti sei perso qualche dettaglio minore nelle istruzioni... 
Alternativa funzionante
 Ho scaricato ubuntu-18.04.3-desktop-amd64.iso e ha utilizzato mkusb per creare un'unità live persistente in una pendrive USB3 da 16 GB.
 All'avvio di persistent live ho installato htop e rimosso usb-creator-gtk (come ho fatto con Ubuntu 18.04.1 LTS come descritto in un commento precedente), quindi ho fatto [parte di] ciò che descrivi nella tua domanda modificata:rimosso Thunderbird, rimosso il pulsante per Amazon, connesso a Universe e installato stress e stress-ng .
Ha funzionato, le modifiche persistono dopo il riavvio. L'immagine seguente illustra come appare.
 
 Si noti che è possibile riavviare un'unità live persistente creata con mkusb live-only, e quindi non vedrà le modifiche. Il sistema originale del file iso è ancora lì, ma puoi montare il casper-rw partizionare e vedere i file, dove sono archiviate le modifiche.