GNU/Linux >> Linux Esercitazione >  >> Linux

Come reindirizzare l'intero output di spark-submit a un file

spark-submit stampa la maggior parte dell'output su STDERR

Per reindirizzare l'intero output a un file, puoi usare:

spark-submit something.py > results.txt 2>&1

Oppure 

spark-submit something.py &> results.txt

Se esegui spark-submit su un cluster, i log vengono archiviati con l'ID applicazione. Puoi vedere i log al termine dell'applicazione.

yarn logs --applicationId <your applicationId> > myfile.txt

Dovrebbe procurarti il ​​registro del tuo lavoro

L'ID applicazione del tuo lavoro viene fornito quando invii il lavoro Spark. Sarai in grado di vederlo nella console in cui stai inviando o dall'interfaccia utente di Hadoop.


Linux

  1. Reindirizzamento e uscita del tubo?

  2. Come eseguire il grep con l'output a colori

  3. Come reindirizzare l'output di un processo già in esecuzione

  4. Come verificare se un file è vuoto in Bash?

  5. Come reindirizzare l'output del programma come input

Come salvare l'output dei comandi in un file in Linux

Come reindirizzare stderr a stdout in Bash

Come reindirizzare l'output del comando della shell

Come salvare l'output di questo comando awk su file?

Reindirizzare tutto l'output su file usando Bash su Linux?

Come reindirizzare l'output del servizio systemd su un file