Come installare Apache Hadoop su Debian 9 Stretch

In questo tutorial, ti mostreremo come installare Apache Hadoop su Debian 9 Stretch. Per chi non lo sapesse, Apache Hadoop è un framework open source utilizzato per l'archiviazione distribuita così come l'elaborazione distribuita di big data su cluster di computer che funzionano su hardware di base. Hadoop archivia i dati nell'Hadoop Distributed File System (HDFS) e l'elaborazione di questi dati viene eseguita utilizzando MapReduce. YARN fornisce un'API per la richiesta e l'allocazione delle risorse nel cluster Hadoop.

Questo articolo presuppone che tu abbia almeno una conoscenza di base di Linux, sappia come usare la shell e, soprattutto, che ospiti il ​​tuo sito sul tuo VPS. L'installazione è abbastanza semplice e presuppone che tu sono in esecuzione nell'account root, in caso contrario potrebbe essere necessario aggiungere 'sudo ' ai comandi per ottenere i privilegi di root. Ti mostrerò l'installazione passo passo di Apache Hadoop su un server Debian 9 (Stretch).

Prerequisiti

• Un server che esegue uno dei seguenti sistemi operativi:Debian 9 (Stretch).
• Si consiglia di utilizzare una nuova installazione del sistema operativo per prevenire potenziali problemi.
• Accesso SSH al server (o semplicemente apri Terminal se sei su un desktop).
• Un non-root sudo user o accedere all'root user . Ti consigliamo di agire come non-root sudo user , tuttavia, poiché puoi danneggiare il tuo sistema se non stai attento quando agisci come root.

Installa Apache Hadoop su Debian 9 Stretch

Passaggio 1. Prima di installare qualsiasi software, è importante assicurarsi che il sistema sia aggiornato eseguendo il seguente apt-get comandi nel terminale:

apt-get update
apt-get upgrade

Passaggio 2. Installazione di Java (OpenJDK).

Apache Hadoop richiede Java versione 8 e successive. Quindi, puoi scegliere di installare OpenJDK o Oracle JDK:

• Installa Java JDK 8 su Debian:

[email protected] ~# java -version
java version "1.8.0_192"
Java(TM) SE Runtime Environment (build 1.8.0_192-b02)
Java HotSpot(TM) 64-Bit Server VM (build 25.74-b02, mixed mode)

Passaggio 3. Installazione di Apache Hadoop su Debian 9.

Per evitare problemi di sicurezza, consigliamo di configurare un nuovo gruppo di utenti Hadoop e un nuovo account utente per gestire tutte le attività relative a Hadoop, seguendo i comandi:

sudo addgroup hadoopgroup
sudo adduser —ingroup hadoopgroup hadoopuser

Dopo aver creato l'utente, è anche necessario impostare ssh basato su chiave sul proprio account. Per fare ciò, utilizzare i seguenti comandi:

su - hadoopuser
ssh-keygen -t rsa -P ""
cat /home/hadoopuser/.ssh/id_rsa.pub >> /home/hadoopuser/.ssh/authorized_keys
chmod 600 authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub slave-1
ssh slave-1

Successivamente, scarica l'ultima versione stabile di Apache Hadoop, Al momento della stesura di questo articolo è la versione 2.8.1:

wget http://www-us.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
tar xzf hadoop-3.1.1.tar.gz
mv hadoop-3.1.1 hadoop

Passaggio 4. Configurazione dell'ambiente Apache Hadoop.

Impostazione delle variabili d'ambiente. Modifica ~/.bashrc file e aggiungi i seguenti valori alla fine del file:

export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

Applica variabili ambientali alla sessione attualmente in esecuzione:

source ~/.bashrc

Ora modifica $HADOOP_HOME/etc/hadoop/hadoop-env.sh file e imposta la variabile di ambiente JAVA_HOME:

export JAVA_HOME=/usr/jdk1.8.0_192/

Hadoop ha molti file di configurazione, che devono essere configurati secondo i requisiti della tua infrastruttura Hadoop. Iniziamo con la configurazione con la configurazione base del cluster Hadoop a nodo singolo:

cd $HADOOP_HOME/etc/hadoop

Modifica core-site.xml :

<configuration>
<property>
  <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

Modifica hdfs-site.xml :

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
  <name>dfs.name.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>

<property>
  <name>dfs.data.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

Modifica mapred-site.xml :

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

Modifica yarn-site.xml :

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

Ora formatta namenode usando il seguente comando, non dimenticare di controllare la directory di archiviazione:

hdfs namenode -format

Avvia tutti i servizi Hadoop usando il seguente comando:

cd $HADOOP_HOME/sbin/
start-dfs.sh
start-yarn.sh

Dovresti osservare l'output per accertarti che tenti di avviare datanode sui nodi slave uno per uno. Per verificare se tutti i servizi sono stati avviati correttamente usando 'jps ' comando:

jps

Passaggio 5. Imposta Firewall per Apache Hadoop.

Consenti Apache Hadoop attraverso il firewall:

ufw allow 50070/tcp
ufw allow 8088/tcp
ufw reload

Passaggio 6. Accesso ad Apache Hadoop.

Apache Hadoop sarà disponibile per impostazione predefinita sulla porta HTTP 8088 e sulla porta 50070. Apri il tuo browser preferito e vai a http://yourdomain.com:50070 o http://server-ip:50070 .

Congratulazioni! Hai installato con successo Apache Hadoop. Grazie per aver utilizzato questo tutorial per l'installazione di Apache Hadoop nei sistemi Debian 9 Stretch. Per ulteriore aiuto o informazioni utili, ti consigliamo di controllare il sito Web ufficiale di Apache Hadoop .