L'Elastic Stack, noto come ELK (Elasticsearch, Logstash e Kibana), è una potente piattaforma open source per l'analisi dei dati. Offre un set completo di funzionalità per l'indicizzazione, la ricerca, il monitoraggio e l'analisi dei dati in tempo reale.
L'Elastic Stack può essere distribuito in locale o nel cloud. È utilizzato sia dalle startup che dalle grandi imprese, tra cui Netflix, Facebook, Goldman Sachs, The Guardian e Thomson Reuters.
L'Elastic Stack è composto da tre componenti principali:
- Ricerca elastica :un motore di ricerca e analisi che indicizza rapidamente i dati e fornisce risultati di ricerca rapidi.
- Archiviazione :uno strumento di pipeline di log che raccoglie, analizza e archivia i log da più origini.
- Kibana :uno strumento di visualizzazione e analisi dei dati che ti consente di cercare, visualizzare, analizzare e condividere i dati.
Ciascuno di questi componenti offre caratteristiche e vantaggi unici.
Elasticsearch è un motore di ricerca e analisi veloce, scalabile e facile da usare che indicizza rapidamente i dati e fornisce risultati di ricerca rapidi. È perfetto per applicazioni in tempo reale come ricerca su siti Web, cataloghi di prodotti, assistenza clienti e analisi degli eventi di sicurezza.
Logstash è uno strumento di pipeline di log che raccoglie, analizza e archivia i log da più origini. Ti aiuta a portare i tuoi dati dove devono andare, quando devono andare lì. Logstash può essere utilizzato anche per monitorare il tuo sistema quasi in tempo reale, in modo da poter identificare e risolvere i problemi prima che diventino seri.
Kibana è uno strumento di visualizzazione e analisi dei dati che consente di cercare, visualizzare, analizzare e condividere dati. Con Kibana, puoi trovare rapidamente informazioni dettagliate nei tuoi dati e vedere come sta andando la tua attività. Kibana semplifica la creazione di dashboard personalizzate, così puoi tenere traccia delle metriche che contano di più per te.
Elastic Stack è una delle soluzioni per big data più popolari e per una buona ragione. È facile da configurare, è scalabile e offre numerose funzionalità per l'indicizzazione, la ricerca, il monitoraggio e l'analisi dei dati.
Se stai cercando una potente piattaforma open source per l'analisi dei dati, vale la pena considerare Elastic Stack.
ELK Stack è progettato per consentire agli sviluppatori di ottenere rapidamente i dati in uno stato ricercabile e analizzabile, senza la necessità di un esercito di consulenti. Gli utenti possono prelevare dati da qualsiasi fonte e utilizzare Kibana e/o Logstash per visualizzare i dati in una serie temporale.
Elasticsearch è un motore di ricerca e analisi RESTful distribuito che indicizza rapidamente i dati, fornendo risultati di ricerca rapidi. È perfetto per applicazioni in tempo reale come ricerca su siti Web, cataloghi di prodotti, assistenza clienti e analisi degli eventi di sicurezza.
In questo tutorial, ti guideremo attraverso i passaggi per installare Elastic Stack sul server Ubuntu 20.04.
Prerequisiti
- Installazione minima di Ubuntu Server 20.04 LTS con accesso SSH e un utente non root con privilegi sudo.
- Minimo di 4 GB di RAM, 2 CPU e 20 GB di spazio disponibile su disco rigido.
Aggiornamento del sistema
È buona norma mantenere aggiornati i pacchetti del server. Esegui il comando seguente per aggiornare la cache del repository:
sudo apt update && sudo apt upgrade -y
Una volta completato l'aggiornamento, esegui il comando seguente per installare le dipendenze richieste.
sudo apt install wget apt-transport-https curl gnupg2 -y
Installazione di Java
Elasticsearch richiede Java per essere eseguito. Ubuntu 2.04 viene fornito con Java 8 e Java 11, ma alcuni plugin potrebbero non essere compatibili con Java 11, quindi installeremo Java 8.
Esegui il comando seguente per installare Java 8 sul tuo sistema.
sudo apt install openjdk-8-jdk -y
Una volta completata l'installazione, puoi verificare la versione di Java installata sul tuo sistema eseguendo il comando seguente.
java -version
L'output dovrebbe essere simile a questo.
Installa Elasticsearch
Il repository Ubuntu 20.04 predefinito non contiene Elasticsearch, ma può essere facilmente installato utilizzando APT dopo aver aggiunto il repository elastico ufficiale dal team di sviluppatori Elasticsearch.
Innanzitutto, scarica la chiave di firma pubblica (Elasticsearch lo fa automaticamente) usando il comando curl per convalidare i pacchetti. I pacchetti sono firmati con questa chiave per garantirne l'autenticità. Useremo gli argomenti -fsSL per indicare a curl che vogliamo silenziare tutti i progressi e consentire a cURL di effettuare una richiesta all'URL specificato.
curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Riceverai un messaggio OK se la chiave è stata aggiunta correttamente.
Quindi, aggiungi il repository Elasticsearch al tuo sistema eseguendo il comando seguente. Aggiungeremo elastic-7.x.list alla directory sources.list.d. La directory sources.list.d è una directory speciale in Ubuntu in cui è possibile aggiungere fonti aggiuntive per il software. Il sistema APT utilizza questi file per trovare i pacchetti disponibili.
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
Quindi, aggiorna la cache del tuo repository per leggere il nuovo repository Elasticsearch.
sudo apt update
Ora puoi installare Elasticsearch eseguendo il seguente comando.
sudo apt install elasticsearch -y
Una volta completata l'installazione, dovremo configurare Elasticsearch. Il file /etc/elasticsearch/elasticsearch.yml è il file di configurazione principale per tutte le impostazioni di Elasticsearch. Ad esempio, il parametro network.host definisce su quale indirizzo IP o nome host associare il servizio Elasticsearch.
Apriamo il file usando l'editor di testo nano.
sudo nano /etc/elasticsearch/elasticsearch.yml
La maggior parte di queste impostazioni sono preconfigurate, ma puoi ottimizzarle in base alle tue esigenze. In questo esempio, cambiamo solo l'impostazione dell'host di rete. Decommenteremo e cambieremo l'host:in localhost in modo che Elasticsearch possa ascoltare su qualsiasi interfaccia. Se desideri utilizzare un'interfaccia specifica, puoi sostituire localhost con l'indirizzo IP o il nome host specifico.
Prima:
Dopo:
Una volta terminate le modifiche, salva il file premendo CTRL+X, Y e Invio. Ora avvia Elasticsearch usando il seguente comando. Il processo di avvio può richiedere alcuni minuti, quindi sii paziente.
sudo systemctl start elasticsearch
Per consentire l'avvio automatico di Elasticsearch all'avvio, esegui i seguenti comandi.
sudo systemctl enable elasticsearch
Ora puoi testare l'installazione eseguendo il comando seguente.
curl -X GET "localhost:9200"
Dovresti vedere la seguente risposta dal tuo nodo locale.
Installa Kibana
Ora che abbiamo Elasticsearch attivo e funzionante, possiamo installare Kibana. Kibana è un'interfaccia visiva per Elasticsearch che ci consente di cercare e visualizzare i nostri dati.
Dovresti sempre installare Kibana Dashboard subito dopo aver installato il server Elasticsearch. Ciò garantirà che tutti i componenti e le impostazioni dell'Elastic Stack siano a posto.
Esegui il comando seguente per installare Kibana.
sudo apt install kibana -y
Una volta completata l'installazione, dovremo configurare Kibana. Il file /etc/kibana/kibana.yml è il file di configurazione principale per tutte le impostazioni di Kibana. Ad esempio la porta su cui associare il servizio Kibana, l'impostazione elasticsearch.url definisce a quale URL Elasticsearch dovrebbe puntare kibana e altre impostazioni di sicurezza.
Apriamo questo file usando l'editor di testo nano.
sudo nano /etc/kibana/kibana.yml
In questo esempio, rimuoveremo il commento da queste righe:server.port, server.host e elasticsearch.hosts in modo che Kibana punti all'URL Elasticsearch corretto.
Prima della modifica:
Dopo la modifica:
Ora salva il file premendo CTRL+X, Y e Invio. Ora avvia e abilita Kibana usando il seguente comando.
sudo systemctl start kibana && sudo systemctl enable kibana
Ora apri il tuo browser web preferito e vai al seguente URL.
http://localhost:5601/app/kibana#/home
Verrai reindirizzato alla schermata di benvenuto di Kibana. Da qui puoi iniziare a usare Kibana. Se ricevi un errore "Server Kibana non ancora pronto", attendi qualche minuto per l'avvio. Oppure assicurati che sia Elasticsearch che Kibana siano attivi e funzionanti.
Installa Filebeat
Filebeat è un log shipper leggero in grado di inviare dati a Elasticsearch. Puoi installare Filebeat usando il seguente comando.
sudo apt install filebeat -y
Una volta completata l'installazione, sarà necessario configurare Filebeat. Il file /etc/filebeat/filebeat.yml è il file di configurazione principale per tutte le impostazioni di Filebeat.
Apriamo questo file usando l'editor di testo nano.
sudo nano /etc/filebeat/filebeat.yml
Ora decommenta la riga output.logstash e la riga host come mostrato di seguito.
Prima della modifica:
Dopo la modifica:
Ora salva il file premendo CTRL+X, Y e Invio. Ora abilitiamo il modulo di sistema Filebeat, carichiamo il modello di indice e colleghiamo Filebeat a Elasticsearch.
sudo filebeat modules enable system && sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
sudo filebeat setup -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601
Esempio di output:
Quindi, esegui il comando seguente per avviare e abilitare Filebeat.
sudo systemctl start filebeat && sudo systemctl enable filebeat
Infine, esegui il comando seguente per verificare che Elasticsearch stia ricevendo dati da Filebeat,
curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'
Dovresti vedere gli stessi dati mostrati nell'immagine qui sotto. Questo output conferma che Filebeat sta inviando i dati a Elasticsearch.
Installa Logstash
Ora che hai configurato correttamente Elasticsearch e Kibana, l'ultimo passaggio consiste nell'installare Logstash.
Puoi installare Logstash usando il seguente comando.
sudo apt install logstash -y
Una volta completata l'installazione, puoi avviare e abilitare Logstash utilizzando il comando seguente.
sudo systemctl start logstash && sudo systemctl enable logstash
Per verificare se Logstash è attivo e funzionante, puoi eseguire il comando seguente per verificarne lo stato.
sudo systemctl status logstash
Otterrai il seguente output.
Ora che abbiamo installato Logstash, puoi configurarlo in base alle tue esigenze. Puoi fare riferimento alla documentazione di Logstash per ulteriori informazioni.
Una volta terminata la configurazione di Logstash, torna all'interfaccia web di Kibana che hai aperto nel tuo browser web nel passaggio precedente. Da lì, puoi iniziare a gestire e visualizzare i tuoi dati. Congratulazioni! Ora hai installato con successo l'Elastic Stack sul tuo server Ubuntu 20.04.
Conclusione
In questo tutorial, hai imparato come installare Elasticsearch, Kibana e Logstash su un server Ubuntu 20.04. Hai anche imparato a configurare tutti e tre i componenti in modo che comunichino tra loro.
Lascia i tuoi commenti, suggerimenti e domande qui sotto. Se questo articolo ti ha aiutato in qualche modo, premi i pulsanti di condivisione nella parte superiore di questa pagina per aiutarli.