KI-Security-Grundlagen — Angriffe auf ML-Modelle (Adversarial, Data Poisoning), Prompt Injection bei LLMs, KI-gestützte Verteidigung.
Geprüft von Admin Kursweg · Stand 25. Mai 2026
Was wird in diesem Kurs vermittelt
KI verändert die Security-Landschaft auf beiden Seiten — als neuer Angriffsvektor (KI-Systeme können angegriffen werden) und als neue Verteidigung (KI hilft bei Threat Detection und Response). Dieser Level-1-Kurs vermittelt die Grundlagen beider Perspektiven. Angriffe auf KI-Systeme: 1. Adversarial Examples — manipulierte Inputs, die ML-Modelle täuschen (z.B. Bild mit unmerklichem Pixel-Rauschen wird falsch klassifiziert, Stop-Schild wird als Tempo-100-Schild erkannt). Techniken: FGSM Fast Gradient Sign Method, PGD Projected Gradient Descent, Carlini-Wagner-Attack. 2. Data Poisoning — Manipulation von Training-Daten, um Backdoors einzufügen (z.B. Bilder mit unsichtbarem Trigger werden falsch klassifiziert). Beispiel: Backdoor in Spam-Filter. 3. Model Extraction — Diebstahl proprietärer Modelle durch Query-Inference (gegen Cloud-APIs wie AWS/Azure-Endpoints). 4. Membership Inference — Feststellen, ob bestimmte Daten im Training waren (Privacy-Verletzung). 5. Model Inversion — Reconstructing Training-Daten aus Model-Outputs (z.B. Faces aus Face-Recognition-Modell). Speziell LLM-Sicherheit: 1. Prompt Injection (direkt: User gibt böswilligen Prompt; indirekt: über externe Dokumente/Webseiten, die der LLM verarbeitet). 2. Jailbreaks (DAN „Do Anything Now", Role-Play-Attacks, Token Smuggling). 3. Data Leakage — LLM gibt Training-Daten preis (z.B. „Repeat the word forever" Attack auf ChatGPT). 4. Hallucinations als Sicherheits-Risiko (Falsch-Information mit Konfidenz). 5. Supply Chain (Vergiftete Open-Source-Modelle von Hugging Face). OWASP Top 10 für LLM Applications (LLM01 Prompt Injection bis LLM10 Model Theft) ausführlich. KI als Verteidigung: 1. Threat Detection mit ML (Anomaly Detection in Network Traffic, User Behavior Analytics UEBA, Malware-Detection mit Deep Learning). 2. SIEM-Augmentierung (Microsoft Sentinel UEBA, Darktrace Antigena). 3. SOC-Co-Pilot (Microsoft Security Copilot, Crowdstrike Charlotte AI) — natürliche Sprache für SOC-Queries. 4. Vulnerability Detection mit LLMs (CodeQL + GPT, GitHub Advanced Security). 5. Phishing-Detection mit AI. 6. Deception Technology (KI-generierte Honeypots). Defense Frameworks: MITRE ATLAS (Adversarial Threat Landscape for AI Systems) — ATT&CK-Pendant für KI. NIST AI Risk Management Framework. EU AI Act Anforderungen für Hochrisiko-KI-Systeme.
Marktdaten zu Verdienst, offenen Stellen und Zukunftsaussicht im Bereich IT & Informatik
Einstieg
38.000–48.000 €
0–2 Jahre Erfahrung
Mittel
52.000–68.000 €
3–7 Jahre Erfahrung
Senior
70.000–95.000 €
8+ Jahre / Lead-Rolle
124.000+
IT-Berufe sind seit fünf Jahren der größte Fachkräfteengpass am deutschen Arbeitsmarkt. Der Bestand offener IT-Stellen ist 2024 auf einen Rekordstand gestiegen; AI- und Cloud-Skills werden in den nächsten Jahren weiter überdurchschnittlich nachgefragt.
Bei AZAV-zertifizierten Trägern ist die Kursgebühr regelmäßig zu 100 % förderbar.
OWASP-Liste der 10 wichtigsten LLM-Risiken (LLM01 Prompt Injection bis LLM10 Model Theft). Standard-Referenz für LLM-Security.
Ja — Adversarial Examples gegen vortrainiertes Modell generieren, Prompt Injection gegen ChatGPT testen, MITRE ATLAS Use Cases durchspielen.
CleverHans und Adversarial Robustness Toolbox (ART) für Adversarial ML. Garak und PyRIT (Microsoft) für LLM-Testing.
Foundation-Wissen für AI-Security-Zertifizierungen. CertNexus, ISACA AI Audit, etc. erfordern weitere Vertiefung.
Praxisorientierter Einstieg ins Reinforcement Learning mit AWS DeepRacer: SageMaker, Lambda, EC2 Deep Learning AMI. Hands-on KI-Kompetenz mit Cloud-Infrastruktur.
Praxis-Kurs für KI-gestützte Kreativ-Workflows: Adobe Photoshop mit Generative Fill, Canva AI, ChatGPT für Werbetexte, KI-Bildgenerierung. Für Mediengestalter und Marketing-Profis.
Einstieg KI und Data Science: CRISP-DM, Big Data, RPA, KI-Algorithmen. Für Quereinsteiger:innen in Tech-Berufe.
Sag uns einmal Region, Format (online/präsenz), Zeit-Modell und Förderstatus — wir vergleichen für dich und melden uns mit 1–3 passenden Trägern. Kostenlos, unverbindlich.
Typischer Verlauf nach dem Kurs
Quellen: Bundesagentur für Arbeit · Engpassanalyse 2024/25 · StepStone Gehaltsreport 2025 · Bitkom Studie Fachkräftemangel 2024. Brutto-Jahresgehälter aus Erhebungen 2024/25, abweichend nach Region und Tarifgebundenheit.
KI-Management strategisch + AWS-ML technisch: SageMaker, DeepRacer, Reinforcement Learning, Lambda, EC2.