Ubuntu 20.04 è un solido sistema operativo che è la base per l'implementazione di molte infrastrutture complesse come la trasmissione regolare e l'elaborazione rapida ed efficiente dei flussi di dati. Oggi imparerai come distribuirne uno perché in questo post imparerai come installare Apache Kafka su Ubuntu 20.04.
Il software Apache Kafka è un'applicazione multipiattaforma open source sviluppata da Apache Software Foundation e specializzata nell'elaborazione di flussi. Ti consente di pubblicare, archiviare, elaborare e iscriverti ai flussi di log in tempo reale. È progettato per gestire flussi di dati da varie fonti e distribuirli a vari utenti.
Apache Kafka è l'alternativa a un tradizionale sistema di messaggistica aziendale. È iniziato come un sistema interno sviluppato da LinkedIn per gestire 1,4 miliardi di messaggi al giorno.
Questa piattaforma ha iniziato a guadagnare popolarità grazie a grandi aziende come Netflix e Microsoft che la utilizzano nelle loro architetture. Kafka è scritto in Java e Scala, quindi deve essere presente nel sistema per funzionare.
Installa Apache Kafka su Ubuntu 20.04
Apache Kafka è costruito con Java, quindi dobbiamo installarlo prima di procedere con qualsiasi passaggio.
Quindi, apri un terminale o connettiti al tuo server tramite SSH e aggiorna Ubuntu
sudo apt update sudo apt upgrade
Ora installa Java su Ubuntu.
sudo apt install default-jdk default-jre
Il passaggio successivo consiste nell'aggiungere un nuovo utente al sistema in modo che Kafka possa essere gestito da esso.
sudo adduser kafka
L'utente che hai creato deve essere aggiunto a sudo gruppo in modo da disporre delle autorizzazioni sufficienti per eseguire il programma.
sudo adduser kafka sudo
Ora che il kafka utente è creato e pronto, puoi accedere utilizzando il su comando
su -l kafka
Download e installazione di Apache Kafka
Crea una nuova cartella per scaricare il programma. Lo chiamerò kafka ma puoi scegliere un altro nome.
mkdir kafka
Ora accedi e da lì con l'aiuto del wget comando, puoi scaricare l'ultima versione stabile del programma.
cd kafka wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz
Esempio di output:
--2021-04-15 23:13:07-- https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz Resolving downloads.apache.org (downloads.apache.org)... 2a01:4f8:10a:201a::2, 88.99.95.219 Connecting to downloads.apache.org (downloads.apache.org)|2a01:4f8:10a:201a::2|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 68583422 (65M) [application/x-gzip] Saving to: ‘kafka_2.13-2.7.0.tgz’ kafka_2.13-2.7.0.tgz 100%[=====================================================================================>] 65.41M 3.08MB/s in 20s 2021-04-15 23:13:27 (3.21 MB/s) - ‘kafka_2.13-2.7.0.tgz’ saved [68583422/68583422]
Dopodiché decomprimilo usando il comando tar .
tar -xvzf kafka_2.13-2.7.0.tgz --strip 1
Ora abbiamo il binario correttamente sul sistema. Quindi dovremo fare un po' di configurazione prima di poterlo usare.
Configurazione di Apache Kafka prima di usarlo
Per impostazione predefinita, Apache Kafka non ti consentirà di eliminare un argomento. In questo caos, un argomento può essere un nome di categoria, gruppo o feed che può essere pubblicato in un messaggio. Quindi è una buona idea cambiarlo.
Per fare ciò, apri server.properties file all'interno del config cartella
nano config/server.properties
E individua delete.topic.enable direttiva e impostarla su true .
delete.topic.enable = true
In questo stesso file, puoi cambiare la cartella in cui Apache Kafka salva i log che vengono generati.
log.dirs=/home/kafka/logs
In questo caso, la cartella dei log dovrebbe trovarsi nella stessa directory della directory home.
Un'altra configurazione che dobbiamo fare è creare un servizio per gestire Kafka come se fosse un servizio di sistema. In questo modo sarà più facile avviarlo, interromperlo e controllarne lo stato.
Tuttavia, dobbiamo iniziare con Zookeeper che è un servizio con cui Kafka gestisce le configurazioni e lo stato dei cluster.
Per fare ciò, crea un nuovo file per Zookeeper nella directory in cui sono ospitati i servizi.
sudo nano /etc/systemd/system/zookeeper.service
E aggiungi quanto segue
[Unit] Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Salva le modifiche e chiudi l'editor.
Ora fai lo stesso per kafka.
sudo nano /etc/systemd/system/kafka.service
E aggiungi quanto segue:
[Unit] Requires=zookeeper.service After=zookeeper.service [Service] Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Ancora una volta, salva le modifiche e chiudi l'editor.
Per applicare le modifiche, basta aggiornare l'elenco dei demoni di sistema.
sudo systemctl daemon-reload
E avvia i servizi Kafka e Zookeeper.
sudo systemctl start kafka sudo systemctl enable kafka sudo systemctl enable zookeeper sudo systemctl start zookeeper
Questo completerà l'installazione.
Conclusione
Apache Kafka è una soluzione open source professionale per le grandi aziende che necessitano di una trasmissione dati efficace. Essere open-source ci dà un riferimento di quanto sia potente e gestibile.
Quindi, condividi questo post e lasciaci un commento.
Sito web Kafka