In un precedente articolo abbiamo spiegato l'installazione di Cloudera Manager, in questo articolo imparerai come installare e configurare CDH (Cloudera Distribution Hadoop ) in RHEL/CentOS 7 .
Durante l'installazione del pacchetto CDH, dobbiamo garantire il Cloudera Manager e CDH Compatibilità. La versione di Cloudera ha 3 parti:
Ad esempio, stiamo usando Cloudera Manager 6.3.1 e CDH 6.3.2 . Qui 6 è maggiore e 3 è la versione minore. Major e Minor devono essere gli stessi per evitare problemi di compatibilità.
Requisiti
- Best practice per la distribuzione di Hadoop Server su CentOS/RHEL 7 – Parte 1
- Impostazione dei prerequisiti Hadoop e rafforzamento della sicurezza – Parte 2
- Come installare e configurare Cloudera Manager su CentOS/RHEL 7 – Parte 3
Prenderemo i 2 nodi seguenti per l'installazione di CDH. Abbiamo già installato Cloudera Manager in master1 , inoltre stiamo usando master1 come server repository.
master1.tecmint.com worker1.tecmint.com
Fase 1:scarica i pacchi CDH sul server principale
1. Innanzitutto, connettiti a master1 server e scarica Pacchi CDH file nel /var/www/html/cloudera-repos/cdh directory. Dobbiamo scaricare i 3 file indicati di seguito che dovrebbero essere compatibili con RHEL/CentOS 7 .
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Prima di scaricare questi file, assicurati di creare un cdh directory in /var/www/html/cloudera-repos/ posizione.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Quindi, scarica i 3 file sopra menzionati usando il seguente comando wget.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Fase 2:imposta Cloudera Manager Repo sui client di lavoro
4. Ora, connettiti a lavoratore server e copia il file repository (cloudera-manager.repo ) dal server repository (master1 ) a tutto il server di lavoro rimanente. Questo file repo garantisce ai server che tutti i pacchetti e gli RPM richiesti verranno scaricati dal server repo durante l'installazione.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Una volta aggiunto il repository, elenca i repository abilitati per assicurarti che il cloudera-manager repository è abilitato.
$ yum repolist
Fase 3:installa i demoni e l'agente Cloudera Manager sui server di lavoro
6. Ora dobbiamo installare cloudera-manager-daemons e agente-gestore-cloudera in tutti i server rimanenti.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Successivamente, devi configurare Cloudera Manager agente per segnalare Cloudera Manager server.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Sostituisci localhost con Cloudera Manager indirizzo IP del server.
8. Avvia Cloudera Manager Agente e verifica lo stato.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Fase 4:Installa e configura CDH
Abbiamo CDH pacchi in master1 – server repository. Assicurati che tutti i server abbiano il file repo di Cloudera Manager in /etc/yum.repos.d/ se segui l'installazione automatica utilizzando Cloudera Manager .
9. Accedi a Cloudera Manager utilizzando l'URL seguente alla porta 7180 e utilizza il nome utente e la password predefiniti di Cloudera Manager .
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Una volta effettuato l'accesso, verrai accolto con la pagina di benvenuto. Qui puoi trovare Note sulla versione, Nuove funzionalità di Cloudera Manager.
11. Accetta la licenza e continua.
12. Seleziona l'edizione. La versione di prova è stata selezionata per impostazione predefinita, possiamo procedere con quella.
13. Ora, segui i passaggi per l'installazione del cluster. Continua la pagina di benvenuto.
14. Assegna un nome al cluster e continua, che abbiamo chiamato "tecmint ”. Ci sono 2 tipi di Cluster che puoi definire. Stiamo procedendo con il Cluster Regolare.
- Gruppo regolare :sarà composto da nodi di archiviazione, nodi di calcolo e altri servizi necessari.
- Gruppo di calcolo :sarà composto solo da nodi di calcolo. La memoria esterna può essere utilizzata per la memorizzazione dei dati.
15. Abbiamo già installato Cloudera Manager Agents in tutti i server. Puoi trovare questi server in "Host attualmente gestiti ”. Per l'installazione automatica, devi inserire l'FQDN o l'IP dei server in "Nuovi host ” opzione e cerca. Cloudera Manager rileverà automaticamente gli host su cui dobbiamo installare CDH.
Qui, fai clic su "Host attualmente gestiti ”, seleziona tutti gli host selezionando 'Nome host ' e continua.
16. Seleziona Archivio – usando Pacco è il modo consigliato. Fai clic su "Altre opzioni ' per configurare il repository.
17. Immettere l'URL del repository locale come indicato di seguito. Rimuovi tutti i restanti repository pubblici che puntano al Web (Cloudera Repositories ).
Questo è il CDH URL del repository locale che stiamo avendo in master1 .
http://104.211.95.96/cloudera-repos/cdh/
18. Una volta inserito l'URL del repository, questa pagina mostrerà solo i pacchi disponibili. Continua questo passaggio.
19. Ora i pacchi vengono scaricati, distribuiti, spacchettati e attivati in tutti i server disponibili.
20. Una volta che i pacchi CDH sono attivati, controlla il cluster . Questo passaggio eseguirà un controllo dello stato del cluster. Qui stiamo saltando e continuando.
Fase 5:configurazione del cluster
21. Qui dobbiamo selezionare i Servizi da installare in Cluster . Alcune combinazioni imballate saranno disponibili per impostazione predefinita, stiamo andando con Servizi personalizzati .
22. In Servizi personalizzati , stiamo installando solo Componenti principali (HDFS e FILO ) per questo scopo dimostrativo.
23. Assegna i ruoli al server. Possiamo personalizzare in base alle nostre esigenze. Trova il grafico seguente che descrive la Distribuzione dei ruoli consigliata per un piccolo cluster di base da 5 a 20 nodi con disponibilità elevata.
24. Selezionare il tipo di database, il nome host, il nome database, il nome utente e la password. Poiché stiamo usando Embedded PostgreSQL, sarà selezionato per impostazione predefinita. Testare la connessione, dovrebbe avere successo.
25. Questa pagina mostrerà i parametri di configurazione predefiniti di HDFS e Filato , comprese le directory di dati. Rivedi tutti i dettagli di configurazione e puoi apportare modifiche se necessario. Quindi continua con questo.
26. Questa pagina mostrerà i dettagli della "Prima corsa ' comando. Puoi espanderlo per vedere i dettagli dei comandi in esecuzione. Se sono presenti problemi di rete o di autorizzazione nel cluster, questo passaggio avrà esito negativo. Di solito, questo passaggio decide la corretta installazione del Cluster Building.
27. Una volta completato il passaggio precedente, fai clic su "Fine ' per completare l'installazione. Questa è la dashboard di Cloudera Manager dopo l'installazione di CDH.
http://104.211.95.96:7180/cmf/home
Conclusione
Abbiamo completato Cloudera Manager e CDH installazione riuscita. Nella dashboard di Cloudera Manager , puoi trovare un set predefinito di grafici in cui puoi monitorare la CPU del cluster, l'IO del disco, ecc. Possiamo gestire l'intero cluster utilizzando questo Cloudera Manager . Vedremo tutte le operazioni amministrative nei prossimi articoli.