DP-100 Designing & Implementing a Data Science Solution on Azure

DP-100 ist Microsofts Zertifizierung für Azure Data Scientists — Profis, die Azure Machine Learning Service zur Entwicklung, Schulung und Bereitstellung von ML-Lösungen nutzen. Wichtig: Der Kurs lehrt nicht Data Science (das wird vorausgesetzt), sondern wie man Data Science auf Azure umsetzt. Block Azure Machine Learning Workspace: Workspace als zentraler Container, Resource Provider, Storage Account, Key Vault, Container Registry, Application Insights als zugehörige Ressourcen, Workspace-Zugriff (Studio UI, SDK Python/R, CLI). Block Compute-Optionen: Compute Instances (Single-User-VMs für Notebooks/Experimente), Compute Clusters (Multi-Node für Training und Batch-Inference), Inference Clusters (Kubernetes für Real-Time-Endpoints), Attached Compute (Databricks, HDInsight, externe VMs). Block Datasets und Datastores: Datastores als Verbindung zu Azure Storage (Blob, Data Lake, SQL, Postgres, MySQL), Tabular vs. File Datasets, Versionierung, Profiling, On-Demand-Loading vs. Mounten in Compute. Block Designer (Drag-and-Drop ML-Pipelines): vorgefertigte Module (Datenzugriff, Preprocessing, Training, Evaluation, Scoring), Custom Python-Module, Pipeline-Ausführung, Modell-Bereitstellung als Endpoint. Block AutoML (Automated Machine Learning): Auto-Auswahl von Algorithmen, automatisches Feature Engineering, automatisches Hyperparameter-Tuning, Klassifikation/Regression/Forecasting, Explainability für AutoML-Modelle. Block Notebooks und Code-First-Ansatz: Jupyter-Notebooks in Azure ML, Python-SDK (azureml-core, azureml-train, azureml-pipeline), Experimente protokollieren mit Run.log, MLflow-Integration. Block ML-Pipelines: Pipeline-Steps definieren (PythonScriptStep, EstimatorStep, ParallelRunStep), Step-Outputs als Datastore-Locations, Pipeline-Wiederverwendung mit PublishedPipeline, Triggers (Scheduled, Reactive auf Datenänderung). Block Modell-Training: Single-Node vs. Distributed Training (Horovod, PyTorch Distributed, TensorFlow Distributed), Hyperparameter-Tuning mit HyperDrive (Grid Sampling, Random Sampling, Bayesian), Early Termination Policies (Bandit, Median Stopping). Block Modell-Deployment: Real-Time Endpoints (AKS für High-Availability, ACI für Dev/Test, Managed Online Endpoints als modern), Batch Endpoints für asynchrone Inference, Inference Schema, Custom Inference Scripts. Block Monitoring & Responsible AI: Data Drift Detection, Model Performance Monitoring, Responsible AI Dashboard (Fairness, Explainability, Error Analysis, Causal Inference, Counterfactual Analysis).