Come installare Apache Spark su CentOS 8

In questo tutorial, ti mostreremo come installare Apache Spark su CentOS 8.  Per chi non lo sapesse, Apache Spark è un sistema di cluster computing veloce e generico. Fornisce API di alto livello in Java, Scala e Python e anche un motore ottimizzato che supporta i grafici di esecuzione complessivi Supporta anche un ricco set di strumenti di livello superiore tra cui Spark SQL per SQL ed elaborazione di informazioni strutturate, MLlib per l'apprendimento automatico , GraphX ​​per l'elaborazione dei grafici e Spark Streaming.

Questo articolo presuppone che tu abbia almeno una conoscenza di base di Linux, sappia come usare la shell e, soprattutto, che ospiti il ​​tuo sito sul tuo VPS. L'installazione è abbastanza semplice e presuppone che tu sono in esecuzione nell'account root, in caso contrario potrebbe essere necessario aggiungere 'sudo ' ai comandi per ottenere i privilegi di root. Ti mostrerò l'installazione passo passo di Apache Spark su CentOS 8.

Prerequisiti

• Un server che esegue uno dei seguenti sistemi operativi:CentOS 8.
• Si consiglia di utilizzare una nuova installazione del sistema operativo per prevenire potenziali problemi.
• Un non-root sudo user o accedere all'root user . Ti consigliamo di agire come non-root sudo user , tuttavia, poiché puoi danneggiare il tuo sistema se non stai attento quando agisci come root.

Installa Apache Spark su CentOS 8

Passaggio 1. Innanzitutto, iniziamo assicurandoci che il tuo sistema sia aggiornato e installiamo tutte le dipendenze richieste.

sudo dnf install epel-release
sudo dnf update

Passaggio 2. Installazione di Java.

L'installazione di Java in questo articolo è stata trattata nell'articolo precedente. Faremo riferimento all'articolo sull'installazione di Java. Quindi controlliamo la versione di Java, dalla riga di comando seguente:

java -version

Passaggio 3. Installazione di Scala.

Apache Spark è implementato nel linguaggio di programmazione Scala, quindi dobbiamo installare Scala per eseguire Apache Spark, quindi dobbiamo solo assicurarci che Java e Python siano presenti:

wget https://www.scala-lang.org/files/archive/scala-2.13.4.tgz
tar xvf scala-2.13.4.tgz
sudo mv scala-2.13.4 /usr/lib
sudo ln -s /usr/lib/scala-2.13.4 /usr/lib/scala
export PATH=$PATH:/usr/lib/scala/bin

Una volta installato, controlla la versione scala:

scala -version

Passaggio 4. Installazione di Apache Spark su CentOS 8.

Ora scarichiamo l'ultima versione di Apache Spark dalla sua fonte ufficiale:

wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz
tar -xzf spark-3.0.1-bin-hadoop2.7.tgz
export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

Imposta alcune variabili di ambiente prima di avviare spark:

echo 'export PATH=$PATH:/usr/lib/scala/bin' >> .bash_profile
echo 'export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7' >> .bash_profile
echo 'export PATH=$PATH:$SPARK_HOME/bin' >> .bash_profile

Il cluster Spark autonomo può essere avviato manualmente, ovvero eseguendo lo script di avvio su ciascun nodo, o semplicemente utilizzando gli script di avvio disponibili. Per i test possiamo eseguire demoni master e slave sulla stessa macchina:

./sbin/start-master.sh

Passaggio 5. Configura Firewall per Apache Spark.

Esegui il seguente comando per aprire la porta sul firewall:

sudo firewall-cmd --permanent --zone=public --add-port=7077/tcp
sudo firewall-cmd --reload

Passaggio 6. Accesso all'interfaccia Web di Apache Spark.

Apache Spark sarà disponibile sulla porta HTTP 7077 per impostazione predefinita. Apri il tuo browser preferito e vai a http://your-domain.com:7077 o http://server-ip-address:7077 e completa i passaggi richiesti per completare l'installazione.

Congratulazioni! Hai installato con successo Apache Spark. Grazie per aver utilizzato questo tutorial per installare il framework open source Apache Spark sul tuo sistema CentOS 8. Per ulteriore aiuto o informazioni utili, ti consigliamo di controllare il sito web ufficiale di Apache Spark.