Airflow

Definicja

Platforma open-source do orkiestracji przepływów danych. Airflow pozwala zdefiniować pipeline'y jako kod w Pythonie, a potem automatycznie uruchamiać je w zadanych odstępach z monitoringiem statusu, retry logic i dashboardem pokazującym, który krok zawiódł.

Zastosowanie biznesowe

Firma, która co noc ściąga dane sprzedażowe z trzech systemów, transformuje je i ładuje do hurtowni, może mieć to wszystko jako jeden Airflow DAG. Jeśli któryś krok się wywali, zespół dostaje maila i może reagować — nie czekać, aż ktoś z biznesu zauważy brakujące dane.

Powiązane pojęcia

• Data Pipeline
• dbt
• ETL
• MLOps