In questa guida illustreremo come installare Apache Airflow su Ubuntu 20.04
Flusso d'aria Apache è una piattaforma di gestione del flusso di lavoro open source per pipeline di ingegneria dei dati. È iniziato presso Airbnb nell'ottobre 2014 come soluzione per gestire increApache Airflow dell'azienda è una piattaforma di gestione del flusso di lavoro open source per pipeline di ingegneria dei dati.
Apache Airflow è una piattaforma di orchestrazione del flusso di lavoro automatizzata e open source utilizzata per gestire la pianificazione delle attività e la definizione delle priorità. L'interfaccia utilizza un sistema basato su Python per consentire agli utenti di inserire attività e dipendenze. Airflow può quindi essere utilizzato per monitorare la distribuzione e l'esecuzione del carico di lavoro.
Così è iniziato su Airbnb nell'ottobre 2014 come soluzione per gestire i flussi di lavoro sempre più complessi dell'azienda. La creazione di Airflow ha consentito ad Airbnb di creare e programmare i propri flussi di lavoro in modo programmatico e di monitorarli tramite l'interfaccia utente integrata di Airflow. Flussi di lavoro singolarmente complessi. La creazione di Airflow ha consentito a Airbnb di creare e programmare i propri flussi di lavoro in modo programmatico e di monitorarli tramite l'interfaccia utente integrata di Airflow.
Installa Apache Airflow
Segui i passaggi seguenti per iniziare con Apache Airflow
- Assicurati che tutti i pacchetti di sistema siano aggiornati eseguendo il seguente comando:
sudo apt update -y && sudo apt upgrade -y- Il server MySQL è richiesto per Apache Airflow, non utilizzare SQLite come DB di metadati in produzione:dovrebbe essere utilizzato solo per sviluppo/test. Si consiglia di utilizzare Postgresql o MySQL. Fai clic qui per ulteriori informazioni.
- Il passaggio successivo consiste nell'installare pip con i seguenti comandi:
sudo apt-get install software-properties-common -y
sudo apt-add-repository universe
sudo apt-get update -y
sudo apt-get install python3-pip python-setuptools -y
- Assicurati che le dipendenze necessarie per Apache Airflow siano installate eseguendo il comando seguente:
sudo apt-get install -y libmysqlclient-dev libssl-dev libkrb5-dev python3-virtualenv python-jinja2- Airflow ha bisogno di una home directory in cui memorizza tutte le sue impostazioni, configurazioni, quindi per farlo esegui il comando seguente:
export AIRFLOW_HOME=~/airflow- Installa Apache Flusso d'aria con l'esecuzione dei seguenti comandi:
virtualenv airflow_unixcop
cd airflow_unixcop/
pip3 install apache-airflow
pip3 install typing_extensions
- Quindi riavvia il sistema.
reboot- Verifica che Apache Airflow sia stato installato correttamente controllandone la versione
airflow version
- Il passaggio successivo è inizializzare il database Apache Airflow e aggiornarlo.
airflow initdb
airflow db upgrade
- Avvia Apache airflow server eseguendo il comando seguente
airflow webserver -p 8080
- Inoltre puoi creare un utente Apache Airflow,
NOTA :Non sono stati creati nome utente e password predefiniti se stai solo utilizzando la ruota python.
Esegui quanto segue per creare un utente:
airflow users create --role Admin --username admin --email admin --firstname admin 
- Per verificare che Apache Airflow sia ora in esecuzione, apri un browser web e vai a localhost:8080 . accedi con l'utente che hai appena creato, verrai reindirizzato alla finestra sottostante
Conclusione
Questo è tutto,
questa guida per l'installazione di Apache Airflow in Ubuntu 20.04
Grazie