Come installare Apache Kafka su Ubuntu 18.04 LTS

In questo tutorial, ti mostreremo come installare Apache Kafka su Ubuntu 18.04 LTS. Per chi non lo sapesse, Apache Kafka è un agente di messaggistica distribuito progettato per gestire enormi volumi di informazioni in tempo reale in modo efficace.A differenza degli agenti tradizionali come ActiveMQ e RabbitMQ, Kafka funziona come un insieme di uno o più server che lo rendono altamente scalabile e, a causa della natura distribuita, è dotato di una tolleranza agli errori integrata fornendo al contempo un throughput maggiore rispetto a le sue controparti.

Questo articolo presuppone che tu abbia almeno una conoscenza di base di Linux, sappia come usare la shell e, soprattutto, che ospiti il ​​tuo sito sul tuo VPS. L'installazione è abbastanza semplice e presuppone che tu sono in esecuzione nell'account root, in caso contrario potrebbe essere necessario aggiungere 'sudo ' ai comandi per ottenere i privilegi di root. Ti mostrerò passo passo l'installazione di Apache Kafka sul server Ubuntu 18.04 LTS (Bionic Beaver).

Prerequisiti

• Un server che esegue uno dei seguenti sistemi operativi:Ubuntu 18.04 LTS (Bionic Beaver).
• Si consiglia di utilizzare una nuova installazione del sistema operativo per prevenire potenziali problemi.
• Accesso SSH al server (o semplicemente apri Terminal se sei su un desktop).
• Un non-root sudo user o accedere all'root user . Ti consigliamo di agire come non-root sudo user , tuttavia, poiché puoi danneggiare il tuo sistema se non stai attento quando agisci come root.

Installa Apache Kafka su Ubuntu 18.04 LTS Bionic Beaver

Passaggio 1. Innanzitutto, assicurati che tutti i pacchetti di sistema siano aggiornati eseguendo il seguente apt-get comandi nel terminale.

sudo apt-get update
sudo apt-get upgrade

Passaggio 2. Installazione di Java.

Apache Kafka richiede che Java sia installato sul tuo server. Per impostazione predefinita, Java non è disponibile nel repository di Ubuntu. Aggiungi Oracle Java PPA ad Apt con il seguente comando:

add-apt-repository ppa:webupd8team/java
apt-get update -y
apt-get install oracle-java8-installer

Verifica la versione Java eseguendo il comando seguente:

java -version

Passaggio 3. Installazione di Zookeeper.

Apache Kafka dipende da Zookeeper per la gestione dei cluster. Quindi, prima di avviare Kafka, Zookeeper deve essere avviato:

apt-get install zookeeperd

Al termine dell'installazione, ZooKeeper verrà avviato automaticamente come demone. Per impostazione predefinita, sarà in ascolto sulla porta 2181:

netstat -ant | grep :2181

Puoi eseguire il seguente comando per verificare se Zookeeper è in esecuzione:

systemctl status zookeeper

Passaggio 4. Scarica e installa Apache Kafka su Ubuntu 18.04 LTS.

Per prima cosa, scarica ed estrai Kafka dal sito web di Apache. Puoi usare wget per scaricare Kafka:

wget http://www-us.apache.org/dist/kafka/1.1.0/kafka_2.12-1.1.0.tgz

Quindi estrai il file di archivio:

tar xzf kafka_2.12-1.1.0.tgz
mv kafka_2.12-1.1.0 /usr/local/kafka

Avvia Kafka Server:

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

Ora avvia il server Kafka:

bin/kafka-server-start.sh config/server.properties

...
[2018-06-26 10:59:45,989] INFO Kafka version : 1.0.1 (org.apache.kafka.common.utils.AppInfoParser)
[2018-06-26 10:59:45,995] INFO Kafka commitId : c0518aa65f25317e (org.apache.kafka.common.utils.AppInfoParser)
[2018-06-26 10:59:46,006] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

Passaggio 5. Crea un argomento su Kafka.

Creiamo un argomento chiamato "NewTopic" con una singola partizione e una sola replica:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic NewTopic
Created topic "NewTopic".

Ora puoi vedere l'argomento creato su Kafka eseguendo il comando list topic:

bin/kafka-topics.sh --list --zookeeper localhost:2181
NewTopic

Passaggio 6. Invia messaggi a Kafka.

Il "produttore" è il processo responsabile dell'inserimento dei dati nel nostro Kafka. Kafka viene fornito con un client a riga di comando che prenderà input da un file o da uno standard inseriscilo e invialo come messaggi al cluster Kafka:

Eseguiamo il producer e quindi digitiamo alcuni messaggi nella console da inviare al server:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic

>Welcome to kafka
>This is my new topic
>

Passaggio 7. Utilizzo di Kafka Consumer.

Kafka ha anche un consumer della riga di comando per leggere i dati dal cluster Kafka e visualizzare i messaggi nell'output standard:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning

Welcome to kafka
This is my new topic

Congratulazioni! Hai installato con successo Apache Kafka. Grazie per aver utilizzato questo tutorial per l'installazione di Apache Kafka sul sistema Ubuntu 18.04 LTS (Bionic Beaver). Per ulteriore aiuto o informazioni utili, ti consigliamo di controllare il sito web ufficiale di Apache Kafka.