Künstliche Intelligenz (KI/AI) + Security Level 1

KI verändert die Security-Landschaft auf beiden Seiten — als neuer Angriffsvektor (KI-Systeme können angegriffen werden) und als neue Verteidigung (KI hilft bei Threat Detection und Response). Dieser Level-1-Kurs vermittelt die Grundlagen beider Perspektiven. Angriffe auf KI-Systeme: 1. Adversarial Examples — manipulierte Inputs, die ML-Modelle täuschen (z.B. Bild mit unmerklichem Pixel-Rauschen wird falsch klassifiziert, Stop-Schild wird als Tempo-100-Schild erkannt). Techniken: FGSM Fast Gradient Sign Method, PGD Projected Gradient Descent, Carlini-Wagner-Attack. 2. Data Poisoning — Manipulation von Training-Daten, um Backdoors einzufügen (z.B. Bilder mit unsichtbarem Trigger werden falsch klassifiziert). Beispiel: Backdoor in Spam-Filter. 3. Model Extraction — Diebstahl proprietärer Modelle durch Query-Inference (gegen Cloud-APIs wie AWS/Azure-Endpoints). 4. Membership Inference — Feststellen, ob bestimmte Daten im Training waren (Privacy-Verletzung). 5. Model Inversion — Reconstructing Training-Daten aus Model-Outputs (z.B. Faces aus Face-Recognition-Modell). Speziell LLM-Sicherheit: 1. Prompt Injection (direkt: User gibt böswilligen Prompt; indirekt: über externe Dokumente/Webseiten, die der LLM verarbeitet). 2. Jailbreaks (DAN „Do Anything Now", Role-Play-Attacks, Token Smuggling). 3. Data Leakage — LLM gibt Training-Daten preis (z.B. „Repeat the word forever" Attack auf ChatGPT). 4. Hallucinations als Sicherheits-Risiko (Falsch-Information mit Konfidenz). 5. Supply Chain (Vergiftete Open-Source-Modelle von Hugging Face). OWASP Top 10 für LLM Applications (LLM01 Prompt Injection bis LLM10 Model Theft) ausführlich. KI als Verteidigung: 1. Threat Detection mit ML (Anomaly Detection in Network Traffic, User Behavior Analytics UEBA, Malware-Detection mit Deep Learning). 2. SIEM-Augmentierung (Microsoft Sentinel UEBA, Darktrace Antigena). 3. SOC-Co-Pilot (Microsoft Security Copilot, Crowdstrike Charlotte AI) — natürliche Sprache für SOC-Queries. 4. Vulnerability Detection mit LLMs (CodeQL + GPT, GitHub Advanced Security). 5. Phishing-Detection mit AI. 6. Deception Technology (KI-generierte Honeypots). Defense Frameworks: MITRE ATLAS (Adversarial Threat Landscape for AI Systems) — ATT&CK-Pendant für KI. NIST AI Risk Management Framework. EU AI Act Anforderungen für Hochrisiko-KI-Systeme.