Data Engineer - Grundlagen

Data Engineering ist das Fundament jeder datengetriebenen Organisation. Bevor Analysten und Data Scientists mit Daten arbeiten können, müssen Infrastruktur und Pipelines erst einmal stehen — und genau dafür sind Data Engineers verantwortlich. Dieser Kurs vermittelt das Grundwissen, das für den Berufseinstieg in das Feld des Data Engineerings benötigt wird: von der Theorie der Datenarchitektur über das praktische Arbeiten mit Azure-Diensten bis hin zu den unverzichtbaren Programmiersprachen SQL und Python. Der Kurs bildet gleichzeitig die Vorstufe für spezialisierte Weiterbildungen im Bereich fortgeschrittener Datenpipelines und Machine Learning.

Einführung in Data Engineering Das erste Modul gibt Orientierung: Was macht ein Data Engineer im Unternehmensalltag, und wie unterscheidet sich die Rolle von einem Data Analyst oder Datenbankadministrator? Teilnehmende verstehen, welche Datenarchitekturen in der Praxis vorkommen, welche Komponenten sie umfassen und wie Daten von der Quelle bis zur Analyse-Plattform fließen.

• Grundlagen des Data Engineerings: Aufgaben, Rollen, Abgrenzungen
• Typische Datenarchitekturen (Batch, Streaming, Lambda/Kappa)
• Datenfluss: Extraktion, Transformation, Laden (ETL vs. ELT)
• Überblick über moderne Data-Engineering-Tools und -Plattformen
• Praxisbeispiel: Erstellung eines Datenflussdiagramms für eine Vertriebsdatenbank

Datenfundament in der Cloud (Microsoft DP-900) Data Engineers arbeiten heute überwiegend mit Cloud-Infrastrukturen. Dieses Modul führt in die Microsoft-Azure-Datenwelt ein: relationale Datenbanken, NoSQL-Systeme und die wichtigsten Azure-Datendienste. Die Inhalte entsprechen dem Zertifizierungsstoff von DP-900 und schaffen das technische Sprachfundament für alle nachfolgenden Module.

• Microsoft DP-900 Azure Data Fundamentals
• Relationale Datenbanken und SQL in der Cloud
• NoSQL-Systeme: Cosmos DB, Tabellenspeicher, Dokumentendatenbanken
• Azure-Datendienste im Überblick (Azure SQL, Synapse Analytics, Blob Storage)
• Datenmanagement-Konzepte und Zugriffssteuerung
• Praxisbeispiel: Einrichtung und Abfrage einer Azure-SQL-Datenbank

Cloud-Konzepte für Data Engineers (Microsoft AZ-900) Wer Cloud-Infrastruktur für Datenprojekte nutzt, muss die grundlegenden Konzepte des Cloud Computings verstehen — Dienstemodelle (IaaS, PaaS, SaaS), Skalierungskonzepte, Kostenmodelle und Sicherheitsgrundlagen. Dieses Modul vermittelt das Fundament für die anschließende Arbeit mit Azure-Diensten und orientiert sich an den Inhalten von AZ-900.

• Microsoft AZ-900 Azure Fundamentals
• Cloud-Computing-Modelle: IaaS, PaaS, SaaS
• Kernkomponenten der Azure-Infrastruktur
• Kostenmanagement und Preismodelle in Azure
• Sicherheitsgrundlagen in der Cloud
• Praxisbeispiel: Einrichtung einer Azure-Ressourcengruppe für ein Datenprojekt

Programmierung für Data Engineering: SQL und Python Keine Programmiersprache ist im Data Engineering unverzichtbarer als SQL — und Python ergänzt sie ideal für komplexere Transformations- und Automatisierungsaufgaben. Dieses Modul führt in beide Sprachen ein, mit direktem Fokus auf Anwendungsszenarien aus dem Data-Engineering-Alltag: Datenextraktion, Transformation, Validierung und Laden.

• SQL-Grundlagen: SELECT, JOIN, GROUP BY, Aggregatfunktionen
• Datentransformation und -bereinigung mit SQL
• Python-Grundlagen: Syntax, Datenstrukturen, Datei-I/O
• Verbindung zu Datenbanken über Python (pyodbc, sqlalchemy)
• Automatisierung von ETL-Schritten mit Python-Skripten
• Praxisbeispiel: Extraktion und Transformation von Verkaufsdaten mit SQL und Python

Datenverarbeitung und Integration in Azure (Microsoft DP-203) Der Abschlussmodul führt in die professionelle Datenpipeline-Entwicklung auf Azure ein. Teilnehmende lernen, wie große Datenmengen mit Azure Data Factory, Azure Synapse Analytics und dem Azure Data Lake verarbeitet, transformiert und für Analytics-Plattformen bereitgestellt werden. Der Inhalt orientiert sich an DP-203 Data Engineering on Microsoft Azure.

• Microsoft DP-203 Data Engineering on Microsoft Azure
• Datenpipelines mit Azure Data Factory
• Batch- und Stream-Verarbeitung in Azure
• Azure Data Lake Storage als Basis für analytische Workloads
• Integration verschiedener Datenquellen in Azure Synapse Analytics
• Praxisbeispiel: Aufbau einer Integrations-Pipeline für Sensordaten

Praxisarbeit und Projektintegration Am Ende des Kurses verbinden Teilnehmende alle Module zu einem vollständigen Data-Engineering-Projekt. Ausgehend von einer typischen Unternehmensfragestellung wird eine Datenpipeline von der Quelle bis zur analytischen Nutzung geplant und umgesetzt.

• End-to-End-Datenpipeline von der Quelle bis zum Analytics-Endpunkt
• Kombination von SQL, Python und Azure-Diensten
• Dokumentation von Pipeline-Architekturen
• Umgang mit fehlerhaften Quelldaten und Fehlerbehandlung in Pipelines
• Monitoring und Logging von Datenprozessen
• Skalierbarkeit als Anforderung an Datenarchitekturen
• Kostenbewusstsein bei der Nutzung von Cloud-Diensten
• Abstimmung von Pipeline-Designs mit nachgelagerten Analytics-Teams
• Versionierung und Wiederholbarkeit von Datenpipelines
• Grundlagen zur Sicherheit und Zugriffsverwaltung in Datenprojekten
• Überblick über weiterführende Tools (dbt, Apache Spark, Databricks)
• Abschlusspräsentation und Feedback

Das Combined-Learning-Format verbindet Live-Instruktion mit strukturierten Praxisphasen. Teilzeit-Durchführungen sind üblich; Vollzeit-Formate ermöglichen einen schnelleren Abschluss. Der Kurs ist vollständig online buchbar.

Dieser Kurs richtet sich an Personen, die in die Datenwelt einsteigen und dabei die technische Infrastrukturseite in den Fokus stellen möchten.

• Einsteiger und Quereinsteiger ohne tiefe SQL- oder Cloud-Vorkenntnisse
• IT-Fachkräfte (Systemadministratoren, Entwickler), die in Richtung Data Engineering wechseln möchten
• Data Analysts, die verstehen wollen, wie die Daten entstehen, mit denen sie täglich arbeiten
• Studierende der Informatik, Wirtschaftsinformatik oder verwandter Fächer
• Berufstätige aus Controlling oder IT, die ihre technischen Kompetenzen in Richtung Cloud-Datenarchitektur ausbauen möchten

Der Kurs wird als Combined Learning durchgeführt. Live-Sessions mit direkter Betreuung durch erfahrene Fachleute wechseln mit eigenständigen Übungseinheiten, in denen Teilnehmende auf Kursplattformen mit echten Azure-Umgebungen arbeiten. Praxisaufgaben sind so konzipiert, dass sie typische Szenarien aus dem Berufsalltag eines Data Engineers widerspiegeln — von der Datenbank-Einrichtung über Pipeline-Konfiguration bis zum SQL-Transformationsskript. Teilzeit ist das häufigere Format, Vollzeit-Durchführungen sind ebenfalls verfügbar.

Die Kursdauer variiert je nach Format. Vollzeit-Formate schließen das gesamte Programm in einigen Wochen ab, Teilzeit-Varianten verteilen den Stoff gleichmäßig über mehrere Monate. Der Kurs ist deutschlandweit online verfügbar.

Mit dem Kursabschluss erhalten Teilnehmende eine qualifizierte Teilnahmebescheinigung. Die Kursinhalte legen die Grundlage für die externen Microsoft-Zertifizierungsprüfungen AZ-900 (Azure Fundamentals), DP-900 (Azure Data Fundamentals) und DP-203 (Data Engineering on Microsoft Azure), die separat bei akkreditierten Testcentern abgelegt werden können und nicht im Kurs enthalten sind.

Data Engineering ist eine der gefragtesten technischen Berufsrollen im deutschsprachigen Raum. Mit dem Abschluss dieses Kurses haben Teilnehmende eine belastbare technische Basis, die sie für Einstiegspositionen im Data Engineering qualifiziert und gleichzeitig die Weiterqualifizierung in spezialisierten Bereichen — etwa maschinelles Lernen oder Echtzeit-Streaming — vorbereitet. Besonders wertvoll ist die Kombination aus drei Microsoft-Zertifizierungsinhalten (AZ-900, DP-900, DP-203) und praxisorientierten Programmiermodulen in SQL und Python. Diese Kombination spiegelt exakt das, was in Stellenanzeigen für Data-Engineering-Positionen gefordert wird: Cloud-Kenntnisse, Datenbankverständnis und Skriptfähigkeiten. Wer alle drei Prüfungen erfolgreich ablegt, kann dies gegenüber Arbeitgebern zertifikatsgestützt belegen. Das Wissen aus diesem Kurs bildet zudem eine direkte Brücke zum Aufbaukurs Data Engineer - Fortgeschrittene ML-Konzepte, der auf den hier gelegten Grundlagen aufbaut und Teilnehmende in die Welt komplexer ML-Pipelines und KI-Modellintegration einführt.