Big Data on AWS — S3, EMR, Redshift, Kinesis, Data Lakes

Die Verarbeitung und Analyse großer Datenmengen ist eine der zentralen Herausforderungen moderner Unternehmen. Amazon Web Services bietet eine umfangreiche Palette an Diensten, die genau dafür ausgelegt sind — von der skalierbaren Datenspeicherung über verteilte Verarbeitung bis hin zu Echtzeit-Streaming und analytischen Data Warehouses. Der Kurs "Big Data on AWS" führt Teilnehmende systematisch in die Nutzung dieser Dienste ein und vermittelt das notwendige Wissen, um Big-Data-Lösungen auf AWS zu konzipieren, aufzubauen und zu betreiben. Im Mittelpunkt stehen AWS-Dienste wie Amazon S3, Amazon EMR, Amazon Redshift und Amazon Kinesis, die in typischen Big-Data-Szenarien eingesetzt werden. Ergänzend werden Best Practices zu Skalierbarkeit, Sicherheit und Kostenoptimierung behandelt. Der Kurs richtet sich an Fachkräfte mit Erfahrung in der Datenverarbeitung, die ihre Kenntnisse gezielt auf die AWS-Plattform erweitern möchten.

Der Kurs ist in thematische Blöcke gegliedert, die von der Grundlagenarchitektur über konkrete AWS-Dienste bis hin zu produktionsreifen Einsatzszenarien führen. Modul 1 — Big-Data-Grundlagen und AWS-Überblick Dieser Einführungsblock legt das konzeptionelle Fundament: Was macht Big Data aus, welche Herausforderungen entstehen durch Volumen, Velocity und Variety, und wie adressiert AWS diese Herausforderungen mit seiner Servicelandschaft? Teilnehmende erhalten einen strukturierten Überblick über das AWS-Big-Data-Ökosystem.

• Definition von Big Data: Volume, Velocity, Variety, Veracity, Value
• Überblick über das AWS-Big-Data-Ökosystem und typische Referenzarchitekturen
• Vergleich traditioneller und cloud-nativer Datenverarbeitungsansätze
• AWS-Globale Infrastruktur: Regionen, Availability Zones und Latenz
• IAM-Grundlagen für Big-Data-Anwendungen: Roles, Policies, Service Accounts
• Kostenmodell von AWS: On-Demand, Reserved Instances und Spot-Instances für Big Data

Modul 2 — Data Storage: Amazon S3 und Data Lakes Amazon S3 ist der zentrale Speicherdienst für nahezu alle Big-Data-Architekturen auf AWS. Dieser Block behandelt S3 nicht nur als einfachen Objektspeicher, sondern als strategischen Kern einer modernen Data-Lake-Architektur.

• Amazon S3: Bucket-Konfiguration, Storage Classes und Lifecycle-Policies
• Data-Lake-Design auf S3: Zonenmodelle (Raw, Curated, Enriched), Partitionierung, Namenskonventionen
• Dateiformat-Strategien: Parquet, ORC, Avro vs. CSV/JSON für Analyseworkloads
• Zugriffskontrolle: Bucket Policies, ACLs, S3 Block Public Access
• Verschlüsselung auf S3: SSE-S3, SSE-KMS, Client-side Encryption
• AWS Lake Formation für zentralisierte Data-Lake-Governance

Modul 3 — Verteilte Verarbeitung: Amazon EMR und Echtzeit-Streaming mit Kinesis Dieser Block behandelt zwei komplementäre Verarbeitungsparadigmen: Batch-Verarbeitung mit EMR und Echtzeit-Streaming mit Kinesis. Beide sind in modernen Big-Data-Architekturen unverzichtbar.

• Amazon EMR: Cluster-Einrichtung, Instanztypen und Kostenoptimierung
• Spark auf EMR: Jobs entwickeln, optimieren und überwachen
• Hive auf EMR für SQL-basierte Analysen großer Datensätze
• Amazon Kinesis Data Streams: Shard-Konzept, Retention und Durchsatzkonfiguration
• Amazon Kinesis Data Firehose für automatische Datenzustellung an S3, Redshift und mehr
• Kinesis Data Analytics für Echtzeit-SQL-Abfragen auf Streaming-Daten

Modul 4 — Analytics und Data Warehouse: Amazon Redshift und AWS Glue Für analytische Abfragen auf strukturierten Datensätzen bietet Amazon Redshift ein leistungsfähiges, cloud-natives Data Warehouse. AWS Glue ergänzt als serverloser ETL-Service. Dieser Block zeigt, wie beide Dienste zusammenwirken.

• Amazon Redshift: Cluster-Einrichtung, Knotentypen und Workload Management
• Redshift-Abfrageoptimierung: Distribution Keys, Sort Keys und Columnar Storage
• AWS Glue: Data Catalog, Crawler und ETL-Jobs mit Python und Spark
• Glue Data Catalog als zentrale Metadaten-Registry für den Data Lake
• Redshift Spectrum für direkte Abfragen auf S3-Daten
• Amazon Athena für serverlose Ad-hoc-Abfragen auf S3

Praxisblock — Hands-on-Architekturen und Fallstudien

• Einrichtung eines S3-Buckets als Data-Lake-Grundlage mit Zonenstruktur
• Upload und Partitionierung eines realen Datensatzes im Parquet-Format
• Konfiguration eines EMR-Clusters und Ausführung eines Spark-Jobs
• Entwicklung einer Hive-Abfrage auf einem EMR-Cluster
• Einrichtung eines Kinesis-Data-Streams und Simulation eines Streaming-Szenarios
• Aufbau einer Kinesis-Firehose-Pipeline zur automatischen Datenzustellung an S3
• Erstellung eines AWS-Glue-Crawlers und Anlegen eines Data-Catalog-Eintrags
• Entwicklung eines Glue-ETL-Jobs zur Transformation von Roh- in Analysedaten
• Aufbau eines Redshift-Clusters und Import von Daten aus S3
• Abfrageoptimierung in Redshift: Distribution- und Sort-Key-Analyse
• Nutzung von Athena für Ad-hoc-Abfragen auf S3-Daten ohne Infrastrukturmanagement
• Design einer end-to-end Big-Data-Pipeline von der Datenquelle bis zur Analyse

Die Praxisübungen sind auf reale Unternehmensszenarien ausgerichtet und sollen Teilnehmende in die Lage versetzen, nach dem Kurs eigenständig Big-Data-Projekte auf AWS zu konzipieren und umzusetzen. Alle Dienste werden in echten AWS-Umgebungen erprobt.

Der Kurs richtet sich an technische Fachkräfte, die bereits Erfahrung in der Datenverarbeitung oder Cloud-Infrastruktur mitbringen und ihre Kenntnisse gezielt auf AWS-Big-Data-Dienste ausweiten möchten.

• Data Engineers und ETL-Entwicklerinnen und -Entwickler, die auf AWS umsteigen oder ihre Kenntnisse erweitern
• Cloud-Architektinnen und -Architekten, die Big-Data-Lösungen auf AWS entwerfen
• Analytics Engineers und Data Scientists, die Big-Data-Infrastruktur auf AWS nutzen
• AWS-Entwicklerinnen und -Entwickler, die Datenverarbeitungskomponenten implementieren
• Personen, die auf AWS-Zertifizierungen im Bereich Data Analytics abzielen

Der Kurs wird im Combined-Learning-Format angeboten und kombiniert selbstgesteuertes Online-Lernen mit betreuten Einheiten, in denen praktische Übungen gemeinsam durchgeführt und besprochen werden. Ergänzend stehen Online-Seminare zur Verfügung. Teilnehmende arbeiten mit echten AWS-Diensten und erhalten Zugang zu Lernumgebungen, in denen reale Konfigurationen und Pipelines aufgebaut werden können. Lernbegleiterinnen und Lernbegleiter mit AWS-Expertise stehen für Fragen und individuelles Feedback zur Verfügung.

Die Kursdauer variiert je nach Vorwissen und gewähltem Umfang. Kompakte Varianten sind innerhalb weniger Wochen absolvierbar, vollständige Durchläufe können einen bis drei Monate in Anspruch nehmen. Vollzeit- und Teilzeit-Optionen stehen zur Verfügung. Individuelle Startzeitpunkte können auf Anfrage vereinbart werden.

Teilnehmende erhalten nach erfolgreichem Abschluss ein international anerkanntes Herstellerzertifikat sowie ein Lehrgangszertifikat. Beide Dokumente bestätigen die erworbenen Kenntnisse in der Konzeption, Entwicklung und dem Betrieb von Big-Data-Lösungen auf AWS. Der Kurs bereitet zudem auf AWS-Zertifizierungsprüfungen im Bereich Data Engineering und Cloud-Architektur vor, die extern bei AWS abgelegt werden.

Unternehmen produzieren heute mehr Daten als je zuvor — und der Wettbewerbsvorteil liegt bei denen, die diese Daten effizient verarbeiten, analysieren und nutzen können. AWS ist mit seiner umfassenden Servicelandschaft die weltweit führende Plattform für Big-Data-Workloads. Fachkräfte, die AWS-Big-Data-Dienste souverän einsetzen können, sind auf dem Arbeitsmarkt stark nachgefragt — sowohl bei AWS-Kunden als auch bei Cloud-Beratungsunternehmen. Dieser Kurs vermittelt nicht nur theoretisches Wissen, sondern praxiserprobte Fähigkeiten: Teilnehmende bauen echte Pipelines, optimieren Abfragen und lernen, wie sie Big-Data-Architekturen skalierbar, sicher und kosteneffizient gestalten. Das breite Spektrum von S3 und EMR über Kinesis bis hin zu Redshift und Glue stellt sicher, dass Absolventinnen und Absolventen in der Lage sind, unterschiedlichste Big-Data-Szenarien — von Batch-Verarbeitung bis Echtzeit-Streaming — eigenständig zu meistern. Bei AZAV-zertifizierten Trägern ist eine Förderung über den Bildungsgutschein der Bundesagentur für Arbeit oder des Jobcenters möglich. Auch Förderungen nach dem Qualifizierungschancengesetz, Maßnahmen zur Rehabilitation und Teilhabe am Arbeitsleben oder Förderungen der Deutschen Rentenversicherung können je nach individueller Situation in Betracht kommen. Eine persönliche Beratung klärt die verfügbaren Förderoptionen.