Come installare Apache Hadoop su Ubuntu 18.04 LTS

In questo tutorial, ti mostreremo come installare Apache Hadoop su Ubuntu 18.04 LTS. Per chi non lo sapesse, Apache Hadoop è un framework open source utilizzato per lo storage distribuito così come l'elaborazione distribuita di big data su cluster di computer che funzionano su hardware di base. Hadoop archivia i dati nell'Hadoop Distributed File System (HDFS) e l'elaborazione di questi dati viene eseguita utilizzando MapReduce. YARN fornisce un'API per la richiesta e l'allocazione delle risorse nel cluster Hadoop.

Questo articolo presuppone che tu abbia almeno una conoscenza di base di Linux, sappia come usare la shell e, soprattutto, che ospiti il ​​tuo sito sul tuo VPS. L'installazione è abbastanza semplice e presuppone che tu sono in esecuzione nell'account root, in caso contrario potrebbe essere necessario aggiungere 'sudo ' ai comandi per ottenere i privilegi di root. Ti mostrerò passo passo l'installazione di Apache Hadoop su un server Ubuntu 18.04 (Bionic Beaver).

Prerequisiti

• Un server che esegue uno dei seguenti sistemi operativi:Ubuntu 18.04 (Bionic Beaver).
• Si consiglia di utilizzare una nuova installazione del sistema operativo per evitare potenziali problemi.
• Accesso SSH al server (o semplicemente apri Terminal se sei su un desktop).
• Un non-root sudo user o accedere all'root user . Ti consigliamo di agire come non-root sudo user , tuttavia, poiché puoi danneggiare il tuo sistema se non stai attento quando agisci come root.

Installa Apache Hadoop su Ubuntu 18.04 LTS Bionic Beaver

Passaggio 1. Innanzitutto, assicurati che tutti i pacchetti di sistema siano aggiornati eseguendo i seguenti comandi apt-get nel terminale.

sudo apt-get update
sudo apt-get upgrade

Passaggio 2. Installazione di Java (OpenJDK).

Dato che Hadoop è basato su java, assicurati di avere Java JDK installato sul sistema. Se non hai Java installato sul tuo sistema, usa il seguente link per installarlo prima.

• Installa Java JDK 8 su Ubuntu:

[email protected] ~# java -version
java version "1.8.0_192"
Java(TM) SE Runtime Environment (build 1.8.0_192-b02)
Java HotSpot(TM) 64-Bit Server VM (build 25.74-b02, mixed mode)

Passaggio 3. Installazione di Apache Hadoop su Ubuntu 18.04.

Per evitare problemi di sicurezza, consigliamo di impostare un nuovo gruppo di utenti Hadoop e un nuovo account utente per gestire tutte le attività relative a Hadoop, seguendo il comando:

sudo addgroup hadoopgroup
sudo adduser —ingroup hadoopgroup hadoopuser

Dopo aver creato l'utente, è anche richiesto di impostare ssh basato su chiave sul proprio account. Per fare ciò utilizzare i seguenti comandi:

su - hadoopuser
ssh-keygen -t rsa -P ""
cat /home/hadoopuser/.ssh/id_rsa.pub >> /home/hadoopuser/.ssh/authorized_keys
chmod 600 authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub slave-1
ssh slave-1

Scarica l'ultima versione stabile di Apache Hadoop, Al momento della stesura di questo articolo è la versione 3.1.1:

wget http://www-us.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
tar xzf hadoop-3.1.1.tar.gz
mv hadoop-3.1.1 hadoop

Passaggio 4. Configura Apache Hadoop.

Impostazione delle variabili d'ambiente. Modifica il file ~/.bashrc e aggiungi i seguenti valori alla fine del file:

export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

Applica variabili ambientali alla sessione attualmente in esecuzione:

source ~/.bashrc

Ora modifica $HADOOP_HOME/etc/hadoop/hadoop-env.sh file e imposta la variabile di ambiente JAVA_HOME:

export JAVA_HOME=/usr/jdk1.8.0_192/

Hadoop ha molti file di configurazione, che devono essere configurati secondo i requisiti della tua infrastruttura Hadoop. Iniziamo con la configurazione con una configurazione base del cluster Hadoop a nodo singolo:

cd $HADOOP_HOME/etc/hadoop

Modifica core-site.xml :

<configuration>
<property>
  <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

Modifica hdfs-site.xml :

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
  <name>dfs.name.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>

<property>
  <name>dfs.data.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

Modifica mapred-site.xml :

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

Modifica yarn-site.xml :

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

Ora formatta namenode usando il seguente comando, non dimenticare di controllare la directory di archiviazione:

hdfs namenode -format

Avvia tutti i servizi Hadoop usa il seguente comando:

cd $HADOOP_HOME/sbin/
start-dfs.sh
start-yarn.sh

Dovresti osservare l'output per accertarti che tenti di avviare il nodo di dati sui nodi slave uno per uno. Per verificare se tutti i servizi sono stati avviati correttamente usando 'jps ' comando:

jps

Passaggio 5. Accesso ad Apache Hadoop.

Apache Hadoop sarà disponibile sulla porta HTTP 8088 e 50070 per impostazione predefinita. Apri il tuo browser preferito e vai a http://your-domain.com:50070 o http://server-ip:50070 . Se stai usando un firewall, apri le porte 8088 e 50070 per abilitare l'accesso al pannello di controllo.

Congratulazioni! Hai installato correttamente Hadoop. Grazie per aver utilizzato questo tutorial per l'installazione di Apache Hadoop sul sistema Ubuntu 18.04 LTS. Per ulteriore aiuto o informazioni utili, ti consigliamo di controllare il sito Web ufficiale di Apache Hadoop.