Apache Kafka è un popolare broker di messaggi distribuito progettato per gestire grandi volumi di dati in tempo reale. Un cluster Kafka è altamente scalabile e tollerante ai guasti.
Ha anche un throughput molto più elevato rispetto ad altri broker di messaggi come ActiveMQ e RabbitMQ.
Sebbene sia generalmente utilizzato come sistema di messaggistica di pubblicazione/sottoscrizione, molte organizzazioni lo utilizzano anche per l'aggregazione dei log perché offre un'archiviazione persistente per i messaggi pubblicati.
Qui a LinuxAPT, come parte dei nostri servizi di gestione del server, aiutiamo regolarmente i nostri clienti a eseguire query relative ad Apache.
In questo contesto, esamineremo come installare e configurare Kafka su Ubuntu 20.04.
Come si installa Apache Kafka sul sistema Ubuntu?
Per iniziare con questa attività di installazione, devi accedere al tuo server come utente root con diritti sudo.
Apache Kafka richiede che Java sia installato sulla tua macchina Ubuntu 20.04.
Inizia aggiornando il tuo sistema operativo con il seguente comando:
$ sudo apt update
Dopo aver aggiornato il sistema operativo, procedi con l'installazione di Java:
$ sudo apt install openjdk-11-jre-headless
Quindi, verifica che Java sia installato correttamente sul sistema eseguendo il comando:
$ java --version
Come scaricare Kafka su Ubuntu?
Ora devi scaricare il sorgente Kafka sul tuo Ubuntu 20.04. Si consiglia vivamente di scaricarlo dal sito ufficiale di Apache Kafka:https://kafka.apache.org/downloads
Al momento della stesura di questo articolo, l'ultima versione è la 2.7.0.
Puoi scaricarlo con il seguente comando:
$ cd $HOME
$ wget https://downloads.apache.org/kafka/2.7.0/kafka-2.7.0-src.tgz
Quindi, crea una nuova cartella denominata kafka-server nella directory /usr/local:
$ sudo mkdir /usr/local/kafka-server
Quindi estrai il sorgente scaricato di Kafka nella directory /usr/local/kafka-server:
$ sudo tar xf $HOME/kafka-2.7.0-src.tgz -C /usr/local/kafka-server
Poiché hai già estratto i file binari di Apache Kafka, puoi elencare i file eseguendo:
$ ls /usr/local/kafka-server/kafka-2.7.0-src/bin/
Ora è il momento di far funzionare Kafka e Zookeeper come demoni in Ubuntu 20.04.
Per fare ciò, devi creare file di unità Systemd sia per Kafka che per Zookeeper.
Come creare file Systemd Unit per Kafka e Zookeeper?
Inizia utilizzando il tuo editor preferito per creare due file come segue:
/etc/systemd/system/zookeeper.service
[Unit]
Description=Apache Zookeeper Server
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/zookeeper-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/zookeeper.properties
ExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target
/etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
After=zookeeper.service
[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64"
ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/server.properties
ExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target
Per applicare le modifiche, è necessario ricaricare i demoni di systemd e abilitare anche i servizi:
$ sudo systemctl daemon-reload
$ sudo systemctl enable --now zookeeper.service
$ sudo systemctl enable --now kafka.service
$ sudo systemctl status kafka zookeeper
Come installare Cluster Manager per Apache Kafka (CMAK) su Ubuntu?
Qui installeremo CMAK che sta per Cluster Manager per Apache Kafka. CMAK è uno strumento open source per la gestione e il monitoraggio dei servizi Kafka.
È stato originariamente sviluppato da Yahoo. Per installare CMAK, esegui i seguenti comandi:
$ cd $HOME
$ git clone https://github.com/yahoo/CMAK.git
Come configurare CMAK su Ubuntu?
Con il tuo editor preferito, puoi modificare la configurazione CMAK:
$ vim ~/CMAK/conf/application.conf
Qui configureremo Zookeeper come localhost, cambiamo il valore di cmak.zkhosts come localhost:2181
Puoi trovare cmak.zkhosts alla riga 28.
Ora devi creare un file zip allo scopo di distribuire l'applicazione:
$ cd ~/CMAK
$ ./sbt clean dist
Ci vorrà circa un minuto per completare.
Come avviare il servizio CMAK su Ubuntu?
io. Passa alla directory ~/CMAK/target/universal ed estrai il file zip:
$ cd ~/CMAK/target/universal
$ unzip cmak-3.0.0.5.zip
ii. Dopo aver decompresso il file cmak-3.0.0.5.zip, passare alla directory ed eseguire il file binario cmak:
$ cd cmak-3.0.0.5
$ bin/cmak
Per impostazione predefinita, il servizio cmak verrà eseguito sulla porta 9000.
Usa il browser web e vai a http://
Quando accedi per la prima volta alla sua interfaccia, non ci sarà alcun cluster disponibile.
iii. Quindi, dobbiamo aggiungerne uno nuovo facendo clic su Aggiungi cluster nell'elenco a discesa Cluster.
iv. Qui abbiamo compilato il modulo con le informazioni richieste:nome cluster, host cluster zookeeper, versione Kafka e così via.
v. Lascia le altre opzioni con i loro valori predefiniti, quindi fai clic su Salva.
Ora il Cluster verrà creato correttamente.
È ora possibile creare un argomento di esempio.
vi. Supponiamo di creare un argomento chiamato "LinuxAPTTopic".
Tenendo presente che CMAK è ancora in esecuzione e avvia un nuovo terminale, quindi esegui il seguente comando:
$ cd /usr/local/kafka-server/kafka-2.7.0-src
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic LinuxAPTTopic
Questo comando creerà l'argomento "LinuxAPTTopic".
vii. Infine, vai alla visualizzazione cluster, quindi fai clic su Argomento> Elenco.