In questo tutorial, ti mostreremo come installare Apache Spark su Ubuntu 18.04 LTS. Per chi non lo sapesse, Apache Spark è un sistema di cluster computing veloce e generico Fornisce API di alto livello in Java, Scala e Python e anche un motore ottimizzato che supporta i grafici di esecuzione complessivi Supporta anche un ricco set di strumenti di livello superiore tra cui Spark SQL per SQL ed elaborazione di informazioni strutturate, MLlib per la macchina apprendimento, GraphX per l'elaborazione dei grafici e Spark Streaming.
Questo articolo presuppone che tu abbia almeno una conoscenza di base di Linux, sappia come usare la shell e, soprattutto, che ospiti il tuo sito sul tuo VPS. L'installazione è abbastanza semplice e presuppone che tu sono in esecuzione nell'account root, in caso contrario potrebbe essere necessario aggiungere 'sudo ' ai comandi per ottenere i privilegi di root. Ti mostrerò passo passo l'installazione di Apache Spark su un server 18.04 LTS (Bionic Beaver).
Installa Apache Spark su Ubuntu 18.04 LTS Bionic Beaver
Passaggio 1. Innanzitutto, assicurati che tutti i pacchetti di sistema siano aggiornati eseguendo questi seguenti comandi apt-get nel terminale.
sudo apt-get update sudo apt-get upgrade
Passaggio 2. Installazione di Java.
Apache Spark richiede che Java sia installato sul tuo server. Per impostazione predefinita, Java non è disponibile nel repository di Ubuntu. Aggiungi Oracle Java PPA ad Apt con il seguente comando:
add-apt-repository ppa:webupd8team/java apt-get update -y apt-get install oracle-java8-installer
Verifica la versione Java eseguendo il comando seguente:
java -version
Passaggio 3. Installazione di Apache Spark su Ubuntu 18.04 LTS.
Installa Apache Spark utilizzando il comando seguente:
wget https://www.apache.org/dyn/closer.lua/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz tar xvzf spark-2.3.1-bin-hadoop2.7.tgz ln -s spark-2.3.1-bin-hadoop2.7 spark
Aggiunta di Spark al percorso:
nano ~/.bashrc
Successivamente, aggiungi queste righe alla fine del file .bashrc in modo che il percorso possa contenere il percorso del file eseguibile di Spark:
SPARK_HOME=/idr00t/spark export PATH=$SPARK_HOME/bin:$PATH
Per attivare queste modifiche, esegui il seguente comando per il file bashrc:
source ~/.bashrc
Lancio di Spark Shell:
./spark/bin/spark-shell
Passaggio 4. Accesso ad Apache Spark.
Apache Spark sarà disponibile sulla porta HTTP 4040 per impostazione predefinita. Apri il tuo browser preferito e vai a http://your-domain.com:4040 o http://server-ip:40404 e completa i passaggi richiesti per completare l'installazione.
Congratulazioni! Hai installato con successo Apache Spark. Grazie per aver utilizzato questo tutorial per l'installazione di Apache Spark sul sistema Ubuntu 18.04 LTS (Bionic Beaver). Per ulteriore aiuto o informazioni utili, ti consigliamo di controllare il sito web ufficiale di Apache Spark.