Transformationslogik mit dbt für ELT-Entwickler – Kurs

Im Arbeitsalltag von ELT-Entwickler:innen nimmt die Gestaltung der Transformationslogik eine zentrale Rolle ein, weil dort fachliche Regeln in reproduzierbare, nachvollziehbare Modelle überführt werden. dbt stellt dafür ein modellbasiertes Vorgehen bereit, das auf SQL und Konfigurationsdateien statt auf grafischen ETL-Workflows aufbaut. Dieser Kurs behandelt die dafür notwendigen Strukturen und Abhängigkeiten - vom einzelnen SQL-basierten Modell über die Modularisierung in Staging-, Intermediate- und Mart-Schichten bis zur automatischen Ableitung von Abhängigkeitsgraphen im gesamten Projekt. Gerade in gewachsenen Datenplattformen entscheidet diese Struktur darüber, ob Transformationslogik langfristig wartbar bleibt oder zu einem unübersichtlichen Geflecht einzelner SQL-Skripte wird.

Die vier Modulblöcke führen von der grundsätzlichen Einordnung von dbt über den Modellaufbau und dessen Modularisierung bis zur Steuerung von Abhängigkeiten und Ausführung im Projektalltag. Modul 1 ordnet dbt als Werkzeug für Transformationslogik im ELT-Kontext ein.

• Projektaufbau und Modellbegriff in dbt
• Zusammenspiel von dbt mit bestehenden Data Warehouses
• Unterschied zwischen dbt und klassischen ETL-Werkzeugen
• Rolle von dbt im modernen ELT-Ansatz (Extract-Load-Transform)
• Einordnung von dbt in eine bestehende Datenplattform-Architektur
• Grundlegender Aufbau eines dbt-Projektverzeichnisses

Modul 2 vermittelt den praktischen Aufbau einzelner Modelle als Grundbaustein jedes dbt-Projekts.

• SQL-basierte Modellbildung als Kern von dbt
• Verwendung der Funktion ref zur Verknüpfung von Modellen untereinander
• Verwendung der Funktion source zur Anbindung von Rohdatentabellen
• Konfiguration einzelner Modelle über Modell-Konfigurationen
• Materialisierungsarten wie View, Table und inkrementelle Modelle
• Benennungs- und Strukturkonventionen für nachvollziehbare Modelle

Modul 3 behandelt die Modularisierung der Transformationslogik über mehrere Modellschichten hinweg.

• Aufteilung der Logik in Staging-, Intermediate- und Mart-Modelle
• Wiederverwendung wiederkehrender Logik über Makros
• Parametrisierung von Modellen über Variablen
• Vermeidung redundanter Transformationslogik durch Modularisierung
• Lesbarkeit und Wartbarkeit als Ziel der Modellstruktur
• Zusammenspiel modularer Modelle im Gesamtprojekt

Modul 4 vertieft Abhängigkeiten, Ausführungssteuerung und die berufliche Relevanz sauber dokumentierter Transformationen.

• Automatische Ableitung von Abhängigkeitsgraphen zwischen Modellen
• Teilweise Ausführung von Projekten über gezielte Selektoren
• Verhalten des Projekts bei Änderungen an Vormodellen
• Transparente Darstellung fachlicher Transformationen für Fachbereiche
• Abstimmung mit Analytics- und Reporting-Rollen anhand dokumentierter Modelle
• dbt-Projekte als Grundlage nachvollziehbarer Datenprodukte

Im Praxisteil bauen die Teilnehmenden ein vollständiges dbt-Projekt auf, das die Inhalte aller vier Module in einem durchgehenden Szenario zusammenführt.

• Aufbau eines dbt-Projekts für ein Beispiel-Datawarehouse
• Erstellung eines Staging-Modells auf Basis einer Rohdatentabelle
• Verknüpfung mehrerer Modelle über die Funktion ref
• Anbindung einer Rohdatenquelle über die Funktion source
• Entwicklung eines Makros für wiederkehrende Transformationslogik
• Parametrisierung eines Modells über eine Variable
• Aufbau eines Intermediate-Modells auf Basis mehrerer Staging-Modelle
• Aufbau eines Mart-Modells für eine konkrete Analysefragestellung
• Analyse des Abhängigkeitsgraphen des entstandenen Projekts
• Ausführung eines Teilprojekts über einen gezielten Selektor
• Nachvollziehen der Auswirkungen einer Änderung an einem Vormodell
• Dokumentation der Modelle für Analytics- und Reporting-Rollen

Die vier Module sind bewusst in dieser Reihenfolge angeordnet: Erst wenn einzelne Modelle sauber aufgebaut sind, lohnt sich ihre Modularisierung, und erst bei mehreren zusammenhängenden Modellen werden Abhängigkeitsgraphen und Selektoren im Arbeitsalltag wirklich relevant. Am Ende der Weiterbildung können die Teilnehmenden Transformationslogik nicht mehr als einzelne, lose SQL-Skripte pflegen, sondern als strukturiertes, versioniertes dbt-Projekt mit nachvollziehbaren Abhängigkeiten.

Die Weiterbildung richtet sich an ELT-Entwickler:innen und verwandte technische Rollen, die Transformationslogik strukturiert und nachvollziehbar mit dbt aufbauen möchten.

• ELT-Entwickler/innen, die von einzelnen SQL-Skripten auf strukturierte dbt-Projekte umsteigen möchten
• Analytics Engineers mit Aufgaben rund um Datenmodellierung im Warehouse
• Data Engineers, die Transformationslogik transparent für Fachbereiche dokumentieren müssen
• Datenbankentwickler/innen mit Interesse an modernen ELT-Werkzeugen

Der Kurs arbeitet durchgehend an einem eigenen dbt-Projekt: Jedes Konzept - vom einzelnen Modell über Makros bis zum Abhängigkeitsgraphen - wird direkt im Projekt umgesetzt, statt nur an isolierten Beispielen erklärt zu werden. Die Übungen orientieren sich an typischen Aufgaben aus der Rolle ELT-Entwickler:in und finden in realitätsnahen Entwicklungs-, Integrations- und Plattformumgebungen statt, sodass die entstehenden Modelle direkt auf reale Projekte übertragbar sind.

Der Kurs gliedert sich in vier aufeinander aufbauende Module von der Einordnung von dbt bis zur Steuerung von Abhängigkeiten und Ausführung im laufenden Projekt. Der zeitliche Schwerpunkt verschiebt sich mit fortschreitendem Kurs von der Modellerstellung hin zur Modularisierung und zum Verständnis komplexer Abhängigkeitsstrukturen.

Der Kurs schließt mit einer trägerinternen Abschlussprüfung und einem Trägerzertifikat ab, das die erworbenen praktischen Kenntnisse im Aufbau von Transformationslogik mit dbt dokumentiert. Es handelt sich um eine anbieterseitige Bestätigung der Kursteilnahme, nicht um eine herstellerseitige oder unabhängig akkreditierte Zertifizierungsprüfung.

Unternehmen, die von klassischen ETL-Werkzeugen auf moderne ELT-Architekturen umstellen, suchen zunehmend Fachkräfte, die Transformationslogik nicht mehr grafisch, sondern modellbasiert mit SQL und Versionskontrolle abbilden können. dbt hat sich dabei als eines der verbreiteten Werkzeuge für diesen Ansatz etabliert. Der besondere Mehrwert dieser Weiterbildung liegt darin, dass sie nicht bei der einzelnen SQL-Abfrage stehenbleibt, sondern die gesamte Struktur eines dbt-Projekts abdeckt - von der Modellbildung über die Modularisierung bis zur Steuerung von Abhängigkeiten. Dadurch verstehen die Teilnehmenden auch, warum Änderungen an einem Modell sich auf nachgelagerte Modelle auswirken können. Für die berufliche Praxis eröffnet das den Einstieg oder Ausbau von Aufgaben in der ELT-Entwicklung, etwa die Ablösung unübersichtlicher SQL-Skriptsammlungen durch strukturierte dbt-Projekte oder die Übernahme von Verantwortung für die Transformationslogik einer wachsenden, sich stetig weiterentwickelnden Datenplattform im Unternehmen.