Apache Kafka è un potente motore di messaggistica, ampiamente utilizzato in BigData progetti e Data Analytics ciclo vitale. È una piattaforma open source per creare pipeline di streaming di dati in tempo reale. È una piattaforma distribuita per la pubblicazione e l'abbonamento con affidabilità, scalabilità e durata.
Possiamo avere Kafka come standalone o come cluster. Kafka memorizza i dati in streaming e può essere classificato come Argomenti . L'argomento avrà un numero di partizioni in modo che possa gestire una quantità arbitraria di dati. Inoltre, possiamo avere più repliche per la tolleranza ai guasti come in HDFS . In un cluster Kafka, il broker è un componente che archivia i dati pubblicati.
Zookeeper è un servizio obbligatorio per gestire un Kafka cluster, in quanto utilizzato per la gestione del coordinamento dei broker Kafka. Zookeeper svolge un ruolo chiave tra produttore e consumatore, dove è responsabile del mantenimento dello stato di tutti i broker.
In questo articolo spiegheremo come installare Apache Kafka in un singolo nodo CentOS 7 o RHEL 7 .
Installazione di Apache Kafka in CentOS 7
1. Innanzitutto, devi installare Java sul tuo sistema per eseguire Apache Kafka senza errori. Quindi, installa la versione predefinita disponibile di Java utilizzando il seguente comando yum e verifica Java versione come mostrato.
# yum -y install java-1.8.0-openjdk # java -version
2. Quindi, scarica la versione stabile più recente di Apache Kafka dal sito Web ufficiale o utilizzare il seguente comando wget per scaricarlo direttamente ed estrarlo.
# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz # tar -xzf kafka_2.13-2.7.0.tgz
3. Crea un collegamento simbolico per kafka pacchetto, quindi aggiungi il percorso dell'ambiente Kafka a .bash_profile file e quindi inizializzarlo come mostrato.
# ln -s kafka_2.13-2.7.0 kafka # echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile # source ~/.bash_profile
4. Quindi, avvia Zookeeper , integrato con Kafka pacchetto. Poiché si tratta di un cluster a nodo singolo, puoi avviare Zookeeper con le proprietà predefinite.
# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties
5. Convalida se il guardiano dello zoo è accessibile o meno semplicemente tramite telnet a Custode dello zoo porta 2181 .
# telnet localhost 9092
6. Quindi, crea un argomento di esempio.
# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint
7. Elenca l'argomento creato.
# kafka-topics.sh --zookeeper localhost:2181 --list
Conclusione
In questo articolo abbiamo visto come installare un cluster Kafka a nodo singolo in CentOS 7 . Vedremo come installare un cluster Kafka multinodo nel prossimo articolo.