Come installare Apache Kafka su CentOS 8

In questo tutorial, ti mostreremo come installare Apache Kafka su CentOS 8. Per chi non lo sapesse, Apache Kafka è un agente di messaggistica distribuito progettato per gestire enormi volumi di informazioni in tempo reale in modo efficace. A differenza degli agenti tradizionali come ActiveMQ e RabbitMQ, Kafka funziona come un insieme di uno o più server che lo rende altamente scalabile e, a causa della natura distribuita, è dotato di una tolleranza agli errori integrata fornendo al contempo un throughput maggiore rispetto al suo controparti.

Questo articolo presuppone che tu abbia almeno una conoscenza di base di Linux, sappia come usare la shell e, soprattutto, che ospiti il ​​tuo sito sul tuo VPS. L'installazione è abbastanza semplice e presuppone che tu sono in esecuzione nell'account root, in caso contrario potrebbe essere necessario aggiungere 'sudo ' ai comandi per ottenere i privilegi di root. Ti mostrerò l'installazione passo passo di Apache Kafka su un server CentOS 8.

Prerequisiti

• Un server che esegue uno dei seguenti sistemi operativi:CentOS 8.
• Si consiglia di utilizzare una nuova installazione del sistema operativo per prevenire potenziali problemi.
• Un non-root sudo user o accedere all'root user . Ti consigliamo di agire come non-root sudo user , tuttavia, poiché puoi danneggiare il tuo sistema se non stai attento quando agisci come root.

Installa Apache Kafka su CentOS 8

Passaggio 1. Innanzitutto, iniziamo assicurandoci che il tuo sistema sia aggiornato.

sudo dnf update

Passaggio 2. Installazione di Java.

Apache Kafka richiede che Java sia installato sul tuo server. Puoi installare OpenJDK sul tuo computer eseguendo il comando seguente:

sudo dnf install java-11-openjdk

Verifica la versione Java eseguendo il comando seguente:

java -version

Passaggio 3. Installazione di Apache Kafka su CentOS 8.

Per prima cosa, scarica ed estrai Kafka dal sito web di Apache. Puoi usare wget per scaricare Kafka:

wget http://www-us.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz

Quindi estrai il file di archivio:

tar xzf kafka_2.13-2.4.0.tgz
mv kafka_2.13-2.4.0 /usr/local/kafka

Passaggio 4. Imposta i file Kafka Systemd Unit.

Per prima cosa, crea systemd file unit per Zookeeper con il comando seguente:

nano /etc/systemd/system/zookeeper.service

Aggiungi sotto il contenuto:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Quindi, per creare un Kafka systemd file unit utilizzando il comando seguente:

nano /etc/systemd/system/kafka.service

Aggiungi i seguenti contenuti:

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Ricarica il systemd demone per applicare le modifiche:

systemctl daemon-reload

Passaggio 5. Avvia Kafka Server.

Kafka ha richiesto ZooKeeper, quindi prima avvia un server ZooKeeper sul tuo sistema:

sudo systemctl start zookeeper

Avvia quindi il server Kafka e visualizza lo stato di esecuzione:

sudo systemctl start kafka
sudo systemctl status kafka

Passaggio 6. Creazione di argomenti in Apache Kafka.

Il "produttore" è il processo responsabile dell'inserimento dei dati nel nostro Kafka. Il Kafka viene fornito con un client a riga di comando che prenderà input da un file o da uno standard inseriscilo e invialo come messaggi al cluster Kafka:

cd /usr/local/kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic

Created topic NewTopic.

Puoi creare più argomenti eseguendo lo stesso comando di cui sopra. Successivamente, puoi vedere gli argomenti creati su Kafka eseguendo il comando seguente:

bin/kafka-topics.sh --list --zookeeper localhost:2181

NewTopic
KafkaonCentOS8
KafkaonCentOS8

Passaggio 7. Produttore e consumatore di Apache Kafka.

Eseguiamo il producer e quindi digitiamo alcuni messaggi nella console da inviare al server:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic

>Welcome to kafka
>This is my new topic
>

Kafka ha anche un consumer della riga di comando per leggere i dati dal cluster Kafka e visualizzare i messaggi nell'output standard:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning

Welcome to kafka
This is my new topic

Congratulazioni! Hai installato con successo Apache Kafka. Grazie per aver utilizzato questo tutorial per l'installazione di Apache Kafka nel sistema CentOS 8. Per ulteriore aiuto o informazioni utili, ti consigliamo di controllare il sito Web ufficiale di Apache Kafka .