Hadoop ha due componenti principali che sono HDFS e FILO . HDFS serve per memorizzare i Dati , FILO serve per elaborare i Dati . HDFS è File system distribuito Hadoop , ha Nome come Servizio principale e Datanode come Servizio slave .
Nome è il componente critico di Hadoop che sta archiviando i metadati dei dati archiviati in HDFS . Se il Nome si interrompe, l'intero cluster non sarà accessibile, è il singolo punto di errore (SPOF ). Pertanto, l'ambiente di produzione avrà Alta disponibilità Namenode per evitare l'interruzione della produzione se uno Namenode si interrompe a causa di vari motivi come crash della macchina, attività di manutenzione pianificata, ecc.
Hadoop 2.x fornisce la fattibilità in cui possiamo avere due Nome , uno sarà Nomenode attivo e un altro sarà Nome di standby .
- Nome attivo – Gestisce tutte le operazioni del cliente.
- Nome di attesa – È ridondante di Nomenode attivo . Se NN attivo si spegne, quindi Standby NN si assumerà tutta la responsabilità di Active NN .
Abilitazione di Alta disponibilità Namenode richiede Custode dello zoo che è obbligatorio per il failover automatico. ZKFC (Controller di failover di Zookeeper ) è un guardiano dello zoo client utilizzato per mantenere lo stato di Namenode .
Requisiti
- Best practice per la distribuzione di Hadoop Server su CentOS/RHEL 7 – Parte 1
- Impostazione dei prerequisiti Hadoop e rafforzamento della sicurezza – Parte 2
- Come installare e configurare Cloudera Manager su CentOS/RHEL 7 – Parte 3
- Come installare CDH e configurare i posizionamenti dei servizi su CentOS/RHEL 7 – Parte 4
In questo articolo, abiliteremo Namenode High Availability in Gestione Cloudera .
Fase 1:installazione di Zookeeper
1. Accedi a Cloudera Manager .
http://Your-IP:7180/cmf/home
2. Nel cluster (tecmin ), seleziona "Aggiungi servizio ”.
3. Seleziona il servizio “Zookeeper ”.
4. Seleziona i server in cui avremo Zookeeper installato.
5. Avremo 3 Zookeepers per formare il Quorum Zookeeper . Seleziona i server come indicato di seguito.
6. Configura Zookeeper proprietà, qui abbiamo quelle di default. In tempo reale, devi disporre di directory/punti di montaggio separati per archiviare Zookeeper dati. Nella Parte 1 , abbiamo spiegato la configurazione dell'archiviazione per ciascun servizio. Fai clic su "continua ' per procedere.
7. L'installazione inizierà, una volta installato Zookeeper sarà avviato. Puoi visualizzare le operazioni in background qui.
8. Dopo aver completato con successo il passaggio precedente, lo stato sarà "Fine '.
9. Ora, guardiano dello zoo è installato e configurato correttamente. Fai clic su "Fine '.
10. Puoi visualizzare il guardiano dello zoo servizio su Cloudera Manager Cruscotto.
Fase 2:abilitazione della disponibilità elevata di Namenode
11. Vai a Gestione Cloudera –> HDFS –> Azioni –> Abilita disponibilità elevata .
12. Immettere il Nome servizio nomi come "servizio nomi1 ” – Questo è uno spazio dei nomi comune sia per il Namenode attivo che per quello standby.
13. Seleziona il Secondo Namenode dove avremo Nome in standby .
14. Qui stiamo selezionando master2.tecmint.com per il Nome in standby .
15. Seleziona il Diario nodi, questi sono servizi obbligatori per la sincronizzazione Attivo e Standby Nome .
16. Stiamo realizzando Quorum Journal inserendo il Diario nodo in 3 server come indicato di seguito. Seleziona 3 server e fai clic su "OK".
17. Fai clic su "Continua ' per procedere.
18. Inserisci il Nodo Journal percorso della directory. Dobbiamo solo menzionare il percorso mentre l'installazione di questa directory verrà creata automaticamente dal servizio stesso. Citiamo come ‘/jn’ . Fai clic su "Continua ' per procedere.
19. Inizierà ad abilitare l'alta disponibilità .
20. Una volta completati tutti i processi in background, otterremo "Finito ' Stato.
21. Infine, riceveremo una notifica "Disponibilità elevata abilitata con successo '. Fai clic su "Fine '.
22. Verifica Attivo e Nome di standby andando su Cloudera Manager –> HDFS –> Istanze .
23. Qui puoi usare due NomeNode , uno sarà in "Attivo ' e un altro sarà in 'Standby ' stato.
Conclusione
In questo articolo, abbiamo esaminato passo dopo passo la procedura per abilitare Namenode High Availability . Si consiglia vivamente di avere Alta disponibilità Namenode in tutti i cluster in un ambiente in tempo reale. Si prega di inviare i propri dubbi se si riscontrano errori durante l'esecuzione di questo processo. Vedremo Alta disponibilità di Resource Manager nel prossimo articolo.