Come installare Apache Hadoop su CentOS 8

In questo tutorial, ti mostreremo come installare Apache Hadoop su CentOS 8. Per chi non lo sapesse, Apache Hadoop è un framework open source utilizzato per lo storage distribuito come nonché l'elaborazione distribuita di big data su cluster di computer che funzionano su hardware di base. Piuttosto che fare affidamento sull'hardware per fornire un'elevata disponibilità, la libreria stessa è progettata per rilevare e gestire i guasti a livello dell'applicazione, fornendo così un servizio altamente disponibile su in cima a un cluster di computer, ognuno dei quali potrebbe essere soggetto a guasti.

Questo articolo presuppone che tu abbia almeno una conoscenza di base di Linux, sappia come usare la shell e, soprattutto, che ospiti il ​​tuo sito sul tuo VPS. L'installazione è abbastanza semplice e presuppone che tu sono in esecuzione nell'account root, in caso contrario potrebbe essere necessario aggiungere 'sudo ' ai comandi per ottenere i privilegi di root. Ti mostrerò l'installazione passo passo di Apache Hadoop su un server CentOS 8.

Prerequisiti

• Un server che esegue uno dei seguenti sistemi operativi:CentOS 8.
• Si consiglia di utilizzare una nuova installazione del sistema operativo per prevenire potenziali problemi.
• Accesso SSH al server (o semplicemente apri Terminal se sei su un desktop).
• Un non-root sudo user o accedere all'root user . Ti consigliamo di agire come non-root sudo user , tuttavia, poiché puoi danneggiare il tuo sistema se non stai attento quando agisci come root.

Installa Apache Hadoop su CentOS 8

Passaggio 1. Innanzitutto, iniziamo assicurandoci che il tuo sistema sia aggiornato.

sudo dnf update

Passaggio 2. Installazione di Java.

Apache Hadoop è scritto in Java e supporta solo Java versione 8. Puoi installare OpenJDK 8 usando il seguente comando:

sudo dnf install java-1.8.0-openjdk ant

Controlla la versione Java:

java -version

Passaggio 3. Installazione di Apache Hadoop CentOS 8.

Si consiglia di creare un utente normale per configurare Apache Hadoop, creare un utente utilizzando il seguente comando:

useradd hadoop
passwd hadoop

Avanti, dovremo configurare l'autenticazione SSH senza password per il sistema locale:

su - hadoop
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 640 ~/.ssh/authorized_keys

Verifica la configurazione ssh senza password con il comando:

ssh localhost

Passaggi successivi, scarica l'ultima versione stabile di Apache Hadoop, Al momento della stesura di questo articolo è la versione 3.2.1:

wget http://apachemirror.wuchna.com/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar -xvzf hadoop-3.2.1.tar.gz
mv hadoop-3.2.1 hadoop

Quindi, dovrai configurare Hadoop e le variabili di ambiente Java sul tuo sistema:

nano ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.232.b09-2.el8_1.x86_64/
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

Ora attiviamo le variabili d'ambiente con il seguente comando:

source ~/.bashrc

Successivamente, apri il file della variabile d'ambiente Hadoop:

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.232.b09-2.el8_1.x86_64/

Hadoop ha molti file di configurazione, che devono essere configurati secondo i requisiti della tua infrastruttura Hadoop. Iniziamo con la configurazione con una configurazione di base del cluster Hadoop a nodo singolo:

cd $HADOOP_HOME/etc/hadoop

Modifica core-site.xml:

<configuration>
<property>
  <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

Crea le directory namenode e datanode nella home dell'utente hadoop /home/hadoop directory:

mkdir -p ~/hadoopdata/hdfs/{namenode,datanode}

Modifica hdfs-site.xml :

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
  <name>dfs.name.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>

<property>
  <name>dfs.data.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

Modifica mapred-site.xml :

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

Modifica yarn-site.xml:

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

Ora formatta namenode usando il seguente comando, non dimenticare di controllare la directory di archiviazione:

hdfs namenode -format

Avvia entrambi i demoni NameNode e DataNode utilizzando gli script forniti da Hadoop:

start-dfs.sh

Passaggio 4. Configura Firewall.

Esegui il seguente comando per consentire le connessioni Apache Hadoop attraverso il firewall:

firewall-cmd --permanent --add-port=9870/tcp
firewall-cmd --permanent --add-port=8088/tcp
firewall-cmd --reload

Passaggio 5. Accesso ad Apache Hadoop.

Apache Hadoop sarà disponibile sulla porta HTTP 9870 e 50070 per impostazione predefinita. Apri il tuo browser preferito e vai a http://your-domain.com:9870 o http://your-server-ip:9870 .

Congratulazioni! Hai installato con successo Apache Hadoop. Grazie per aver utilizzato questo tutorial per l'installazione di Hadoop sul sistema CentOS 8. Per ulteriore aiuto o informazioni utili, ti consigliamo di controllare il sito Web ufficiale di Apache Hadoop.