dbt

Definicja

Open-source'owe narzędzie pozwalające pisać transformacje danych jako modele SQL z testami, dokumentacją i dependency graph. dbt nie ładuje danych (od tego jest Airflow albo Fivetran) — dbt transformuje dane już załadowane do Data Warehouse.

Zastosowanie biznesowe

Zespół danych, który pisze raporty jako długie zapytania SQL w Power BI, rzadko testuje swoje transformacje. dbt wymusza dyscyplinę: każda transformacja to osobny model z testami, który kompiluje się przed uruchomieniem.

Powiązane pojęcia

• Data Warehouse
• ELT
• Data Pipeline
• MLOps