Advanced ML & Generative AI — Deep NN, Transfer Learning, GANs, VAEs, RL

Wer ML-Grundlagen beherrscht und in die Spezialistenliga möchte, findet hier die fortgeschrittenen Konzepte. Der Kurs setzt Erfahrung mit scikit-learn, einfachen neuronalen Netzen und Python-Data-Science-Bibliotheken voraus. Block Deep Neural Networks im Detail: Architektur-Design-Prinzipien, Initialization (Xavier, He), Activation Functions im Vergleich (ReLU, Leaky ReLU, ELU, SELU, GELU, Swish), Batch Normalization, Layer Normalization, Group Normalization, Dropout-Varianten, Skip Connections (ResNet), Dense Connections (DenseNet), Inception-Module. Block Optimierung: SGD vs. Momentum vs. Adam vs. AdamW vs. LARS, Learning-Rate-Scheduling (Step, Cosine, OneCycle, Warmup), Gradient Clipping, Mixed Precision Training (FP16/BF16), Distributed Training (Data Parallelism vs. Model Parallelism, DDP, FSDP). Block Transfer Learning: Pre-trained Models nutzen (ImageNet, ImageNet-21k), Feature Extraction vs. Fine-Tuning, schichtweises Auftauen, Domain Adaptation, Multi-Task Learning. Block Generative Adversarial Networks (GANs) advanced: DCGAN-Architektur, WGAN mit Wasserstein-Distance für stabileres Training, Conditional GANs, CycleGAN für unpaired Image-Translation, StyleGAN für hochaufgelöste Bilder, Big GANs für conditional Image-Generation, ProGAN für progressive Resolution. Block Variational Autoencoders (VAEs) advanced: Beta-VAE für disentangled Representations, VQ-VAE mit diskreten Latent Codes, Conditional VAEs, VAE-GAN-Hybride, Anwendungen über Image-Generation hinaus (Anomaly Detection, Drug Discovery, Music). Block Reinforcement Learning: MDPs (Markov Decision Processes), Bellman-Equations, Value Iteration, Policy Iteration, Q-Learning, Deep Q-Networks (DQN) mit Experience Replay und Target Network, Policy Gradient Methods (REINFORCE), Actor-Critic (A2C, A3C, PPO), TRPO, SAC für continuous Action Spaces. Anwendungen: Game Playing (AlphaGo, OpenAI Five), Robotik, autonomes Fahren, Empfehlungssysteme. Block Modern Generative AI: Diffusion Models, Latent Diffusion (Stable Diffusion), ControlNet, Score-based Generative Models, Flow-based Models, Energy-based Models. Block MLOps für Production: Model Versioning (MLflow, DVC), Experiment Tracking (Weights & Biases, Neptune, MLflow), Deployment (TensorFlow Serving, TorchServe, BentoML, Triton), Monitoring (Data Drift, Concept Drift, Performance Degradation), A/B-Testing für ML-Modelle.