Come installare Apache Kafka su Ubuntu 20.04 LTS

In questo tutorial, ti mostreremo come installare Apache Kafka su Ubuntu 20.04 LTS. Per chi non lo sapesse, Kafka è il software open source più popolare che fornisce un framework per l'archiviazione, la lettura e l'analisi dei dati in streaming. Kafka è stato originariamente sviluppato da LinkedIn e sarà open source all'inizio del 2011 sotto la Apache Software Foundation.

Questo articolo presuppone che tu abbia almeno una conoscenza di base di Linux, sappia come usare la shell e, soprattutto, che ospiti il ​​tuo sito sul tuo VPS. L'installazione è abbastanza semplice e presuppone che tu sono in esecuzione nell'account root, in caso contrario potrebbe essere necessario aggiungere 'sudo ' ai comandi per ottenere i privilegi di root. Ti mostrerò l'installazione passo passo di Apache Kafka su Ubuntu 20.04 (Focal Fossa). Puoi seguire le stesse istruzioni per Ubuntu 18.04, 16.04 e qualsiasi altra distribuzione basata su Debian come Linux Mint.

Prerequisiti

• Un server che esegue uno dei seguenti sistemi operativi:Ubuntu 20.04, 18.04, 16.04 e qualsiasi altra distribuzione basata su Debian come Linux Mint.
• Si consiglia di utilizzare una nuova installazione del sistema operativo per prevenire potenziali problemi.
• Un non-root sudo user o accedere all'root user . Ti consigliamo di agire come non-root sudo user , tuttavia, poiché puoi danneggiare il tuo sistema se non stai attento quando agisci come root.

Installa Apache Kafka su Ubuntu 20.04 LTS Focal Fossa

Passaggio 1. Innanzitutto, assicurati che tutti i pacchetti di sistema siano aggiornati eseguendo il seguente apt comandi nel terminale.

sudo apt update
sudo apt upgrade

Passaggio 2. Installazione di Java.

Apache Kafka richiede che Java sia installato sul tuo server. Esegui il seguente comando per installare OpenJDK sul sistema Ubuntu:

sudo apt install openjdk-11-jdk

Verifica la versione Java eseguendo il comando seguente:

$ java -version

java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b07, mixed mode)

Passaggio 3. Installazione di Apache Kafka su Ubuntu 20.04.

Ora scarichiamo l'ultima versione di Kafka dalla pagina web ufficiale:

wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz

Quindi, annulla il tar del file di archivio e spostalo in un'altra posizione:

sudo tar xzf kafka_2.13-2.6.0.tgz
sudo mv kafka_2.13-2.6.0 /opt/kafka

Passaggio 4. Crea file di unità di sistema Zookeeper e Kafka.

Crea il systemd file unitario per il servizio zookeeper:

sudo nano /etc/systemd/system/zookeeper.service

Aggiungi le seguenti righe:

[Unit]
Description=Apache Zookeeper service
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Quindi, crea il systemd file unit per il servizio Kafka:

sudo nano /etc/systemd/system/kafka.service

Aggiungi le seguenti righe:

[Unit]
Description=Apache Kafka Service
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/opt/jdk/jdk1.8.0_251"
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Ricarica il demone per avere effetto:

sudo systemctl daemon-reload
sudo systemctl enable --now zookeeper
sudo systemctl enable --now kafka

Passaggio 5. Creazione dell'argomento in Kafka.

Ora creeremo un argomento chiamato "idroot" con un unico fattore di replica e partizione:

cd /opt/kafka
sudo bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-f

Per inviare alcuni messaggi per l'argomento creato:

sudo bin/kafka-console-producer.sh --broker-list localhost:9092 --topic idoot

Viene richiesto di digitare i messaggi:

> Hi
> How are you?

Utilizzando il comando seguente possiamo vedere l'elenco dei messaggi:

sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic idroot --from-beginning

Passaggio 6. Per collegare Kafka da macchine remote.

Per connetterti, creare un argomento e inviare messaggi da un server remoto. Segui i passaggi seguenti:

cd /opt/kafka/config

Ora cerca server.properties e apportare alcune modifiche alla configurazione:

sudo nano server.properties

listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://<HOST IP>:9092

Congratulazioni! Hai installato con successo Apache Kafka. Grazie per aver utilizzato questo tutorial per l'installazione di Apache Kafka su Ubuntu 20.04 LTS Focal Fossa system. Per ulteriore aiuto o informazioni utili, ti consigliamo di controllare il Sito web di Apache Kafka.