Introduzione
Cos'è lo stack ELK?
"ELK" è l'acronimo di tre progetti open source:Elasticsearch, Logstash e Kibana. Elasticsearch è un motore di ricerca e analisi. Logstash è una pipeline di elaborazione dati lato server che acquisisce dati da più origini contemporaneamente, li trasforma e quindi li invia a una "scorta" come Elasticsearch. Kibana consente agli utenti di visualizzare i dati con grafici e grafici in Elasticsearch.
Perché usare Bitnami ELK Stack?
Lo Stack Bitnami ELK è sempre aggiornato e sicuro. L'installazione e la configurazione dello stack è completamente automatizzata, rendendo facile per tutti, anche per coloro che non sono molto tecnici, metterlo in funzione.
Cos'è Filebeat?
Filebeat è un mittente leggero per l'inoltro e la centralizzazione dei dati di registro. Installato come agente sui tuoi server, Filebeat monitora i file di registro o le posizioni specificate, raccoglie gli eventi di registro e li inoltra a Elasticsearch o Logstash per l'indicizzazione.
Di seguito sono riportati i passaggi per avviare un server Bitnami ELK dal portale E2E Myaccount e per configurare l'agente filebeat sul tuo server per recuperare i log.
Prerequisito
- Accedi al portale E2E Myaccount. Se non ti sei ancora registrato a Myaccount, fai riferimento a questo articolo per la registrazione
- Sudo accesso al server dell'agente per configurare l'agente filebeat
Passaggi per creare un server Bitnami ELK dal portale E2E Myaccount
Passaggio 1:accedi al tuo portale E2E Myaccount con l'e-mail e la password richieste
Passaggio 2:seleziona i nodi dal pannello e procedi con la creazione di nodi
Passaggio 3:nella sezione Crea nodo di calcolo, fai clic sulla sezione "Distribuzione in 1 clic" e seleziona la versione ELK richiesta, i piani appropriati e fai clic su Crea VM
Passaggio 4:inserisci i dettagli del nodo, seleziona le opzioni di autenticazione e backup e fai clic su Crea il mio nodo per avviare un server Bitnami ELK di E2E
Ecco fatto,Ora hai avviato il server Bitnami ELK,Di seguito sono riportati i passaggi per accedere al tuo portale Kibana
Passaggi per accedere al portale ELK Bitnami Kibana
Passaggio 5:per prima cosa abbiamo bisogno del nome utente e della password per il portale Kibana. Le credenziali di root dell'istanza ELK verranno inviate al tuo indirizzo e-mail registrato non appena viene avviata l'istanza ELK.
Le credenziali ELK sono archiviate in un file autonomo. Per ottenere le credenziali in qualsiasi momento, Connettiti al nodo tramite SSH utilizzando le credenziali dell'utente root. Esegui il comando seguente per ottenere le credenziali dell'applicazione
cat /home/bitnami/bitnami_credentials
otterrai un output come di seguito
root@e2e-62-70:~# cat /home/bitnami/bitnami_credentials Welcome to the Bitnami ELK Stack The default username and password is 'user' and 'D2mYMa3Z9gMY'. You can also use this password to access the databases and any other component the stack includes. Please refer to https://docs.bitnami.com/ for more details.
Passaggio 6:per accedere al tuo portale Kibana, utilizza l'URL http://your_server_IP e fai clic su Accedi alla console di amministrazione. Inserisci il nome utente e la password quando richiesto.
Passaggi per configurare l'agente Filebeat
Passaggio 7:dopo aver avviato il server e aver effettuato l'accesso al portale Kibana, ora è il momento di recuperare i registri dal server dell'agente tramite filebeat
Accedi al tuo server Agent da dove devi recuperare i log assicurati di avere accesso sudo al server
Passaggio 8:per scaricare e installare Filebeat sul server Linux, utilizzare il comando seguente secondo le proprie distribuzioni, poiché stiamo utilizzando bitnami ELK, utilizzeremo filebeat versione oss
deb:
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.4.1-amd64.deb
sudo dpkg -i filebeat-oss-7.4.1-amd64.deb
giri:
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.4.1-x86_64.rpm sudo rpm -vi filebeat-oss-7.4.1-x86_64.rpm
Nota:durante la stesura di questo articolo, filebeat-7.4.1 era l'ultima versione, puoi ottenere l'ultima versione corrente dal suo sito ufficiale
Passaggio 9:una volta installato Filebeat con il comando sopra menzionato, è necessario modificare la configurazione su Filebeat.yml per recuperare i registri sul tuo server ELK, usa il comando seguente per modificare la configurazione di Filebeat.yml
vim /etc/filebeat/filebeat.yml
Per accedere alla modalità di inserimento, premere i e di seguito È necessario apportare modifiche a questo file
1) Modificare la configurazione dell'input filebeat su true come "enabled:true" come mostrato di seguito
2) Modificare il percorso dei file di registro che devono essere recuperati, attualmente abbiamo configurato per recuperare /var/log/messages. È possibile configurare il percorso del registro secondo le proprie esigenze.
3)Modifica la configurazione degli host output.elasticsearch con l'IP del tuo server ELK.
Salva il file premendo “ESC” e digita :wq! per salvare ed uscire
Passaggio 10:dovrai anche assicurarti che il server dell'agente sia in grado di connettersi al server ELK per la porta 9200 di Elasticsearch
Accedi al tuo server ELK e usa il comando seguente per aprire la porta 9200 per il tuo server agente, assicurati di cambiare l'IP del tuo server agente
sudo ufw allow from agent_server_ip to any port 9200
Dato che stiamo usando Debian 9 con il firewall ufw, stiamo usando il comando precedente. Se stai usando Iptable, fai riferimento a questo articolo per aprire la porta.
Verifica, se sei in grado di telnet dal tuo server agente al server ELK accedendo al tuo server agente e telnet con il comando seguente, otterrai un output come di seguito
# telnet elk_sever_ip 9200 Trying xx.xx.xx.xx… Connected to xx.xx.xx.xx Escape character is '^]'.
Passaggio 11:una volta completata la configurazione di cui sopra e la verifica Telnet, riavviare il servizio Filebeat una volta con il comando seguente
service filebeat restart
Creazione del modello Kibana Index sul portale Kibana per visualizzare i dati
Passaggio 12:per recuperare i dati dagli indici Elasticsearch per cose come le visualizzazioni nel portale Kibana, dobbiamo creare un modello di indice Kibana.
Accedi al tuo portale Kibana —> vai al Pannello di gestione –> e seleziona Schema indice
Se la configurazione e la connettività dell'agente filebeat e del server ELK funzionano correttamente, vedrai un pattern filebeat che abbiamo appena configurato come mostrato di seguito.
Immettere il nome del modello di indice come filebeat-* e fare clic su Passaggio successivo
Seleziona @timestamp nel nome del campo Filtro temporale e fai clic su Crea modello di indice. Ora il modello di indice è stato creato correttamente e puoi visualizzare i dati sul portale
Passaggio 13:visualizza i dati sul pannello di rilevamento del portale Kibana
Per visualizzare i registri spediti dal server dell'agente, seleziona Scopri dal pannello di sinistra del portale Kibana, dove puoi visualizzare i dati Elasticsearch recuperati sul portale Kibana. Una volta recuperati i registri, puoi cercare e sfogliare i registri. Puoi anche personalizzare la tua dashboard.
Conclusione
Ora puoi avere i tuoi log sempre scaricati sul server ELK e sono in grado di visualizzarli con Kibana. Puoi inviare tutti i log da recuperare a ELK e puoi filtrare ulteriormente i tuoi log sulla dashboard di Kibana e avere visualizzazioni strutturate.
Per le domande frequenti sulla distribuzione di ELK, fare riferimento a questo articolo