Come installare Apache Kafka su Debian 10

In questo tutorial, ti mostreremo come installare Apache Kafka su Debian 10. Per chi non lo sapesse, Apache Kafka è una piattaforma di streaming di eventi distribuita open source utilizzata da migliaia di aziende per pipeline di dati ad alte prestazioni, analisi di streaming, integrazione dei dati e applicazioni mission-critical.

Questo articolo presuppone che tu abbia almeno una conoscenza di base di Linux, sappia come usare la shell e, soprattutto, che ospiti il ​​tuo sito sul tuo VPS. L'installazione è abbastanza semplice e presuppone che tu sono in esecuzione nell'account root, in caso contrario potrebbe essere necessario aggiungere 'sudo ' ai comandi per ottenere i privilegi di root. Ti mostrerò passo dopo passo l'installazione di Apache Kafka su una Debian 10 (Buster).

Prerequisiti

• Un server che esegue uno dei seguenti sistemi operativi:Debian 10 (Buster).
• Si consiglia di utilizzare una nuova installazione del sistema operativo per prevenire potenziali problemi.
• Un non-root sudo user o accedere all'root user . Ti consigliamo di agire come non-root sudo user , tuttavia, poiché puoi danneggiare il tuo sistema se non stai attento quando agisci come root.

Installa Apache Kafka su Debian 10 Buster

Passaggio 1. Prima di eseguire il tutorial di seguito, è importante assicurarsi che il sistema sia aggiornato eseguendo il seguente apt comandi nel terminale:

sudo apt update

Passaggio 2. Installazione di Java.

Ora installa Java usando il comando seguente:

sudo apt install default-jdk

Verifica la versione Java eseguendo il comando seguente:

java -version

Passaggio 3. Installazione di Apache Kafka su Debian 10.

Ora eseguiamo il seguente comando per scaricare i pacchetti Apache Kafka dal sito ufficiale:

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

Quindi, estrai il file di archivio scaricato:

tar xzf kafka_2.12-2.8.0.tgz
mv kafka_2.12-2.8.0 /usr/local/kafka

Passaggio 4. Crea file di unità di sistema.

Ora creiamo systemd file unit per il servizio Zookeeper e Kafka. Questo aiuterà a gestire i servizi Kafka per avviare o interrompere l'utilizzo di systemctl comando:

nano /etc/systemd/system/zookeeper.service

Aggiungi il seguente file:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Avanti, per creare un Kafka systemd file unit utilizzando il comando seguente:

nano /etc/systemd/system/kafka.service

Aggiungi i seguenti contenuti:

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Salva i file e ricarica il systemd demone per applicare nuove modifiche:

sudo systemctl daemon-reload
sudo systemctl start zookeeper
sudo systemctl start kafka

Passaggio 5. Crea un argomento in Kafka.

Per prima cosa, crea un argomento denominato "MakeTopic" con una singola partizione con un'unica replica:

cd /usr/local/kafka
bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic

Dopodiché, puoi vedere gli argomenti creati su Kafka eseguendo il comando seguente:

$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181
MakeTopic

Passaggio 6. Invia messaggi a Kafka.

Ora eseguiamo il producer e poi digitiamo alcuni messaggi nella console da inviare al server:

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic

>Welcome to kafka
>This is my first topic
>

Passaggio 7. Utilizzo di Kafka Consumer.

Apache Kafka ha anche un consumer della riga di comando per leggere i dati dal cluster Kafka e visualizzare i messaggi nell'output standard.

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning

Welcome to kafka
This is my first topic

Congratulazioni! Hai installato con successo Apache Kafka. Grazie per aver utilizzato questo tutorial per installare l'ultima versione di Apache Kafka sul sistema Debian. Per ulteriore aiuto o informazioni utili, ti consigliamo di controllare il sito ufficiale di Apache Kafka.