Technik · Crawler-Governance
Welche KI-Crawler du als Bildungsträger erlauben oder blockieren solltest
robots.txt ist 2026 kein Nebenthema mehr – es entscheidet darüber, in welchen KI-Systemen du sichtbar bist.
Die wichtigsten Bots und ihre Bedeutung für Bildungsanbieter
GooglebotImmer erlaubenGrundlage für alle Google-Sichtbarkeit inkl. AI Overviews
Ohne Googlebot: komplett unsichtbar
OAI-SearchBotErlaubenSichtbarkeit in ChatGPT Search-Modus
Blockieren = keine ChatGPT-Sichtbarkeit
GPTBotOptional blockierenTrainingsnutzung für OpenAI-Modelle
Kein direkter Sichtbarkeits-Impact, nur Trainingsdaten-Schutz
Claude-SearchBotErlaubenSichtbarkeit in Claude-gestützten Anwendungen
Blockieren = unsichtbar in Claude-Suche
ClaudeBotOptional blockierenAnthropic-Training
Kein direkter Sichtbarkeits-Impact
Google-ExtendedAbwägenTraining von Google AI-Modellen (Gemini etc.)
Blockieren könnte AI Overview Sichtbarkeit reduzieren – unklar
Muster-robots.txt für Bildungsträger
# Standard: Alle Bots erlauben User-agent: * Allow: / # Optional: GPTBot-Training blockieren (Sichtbarkeit bleibt) User-agent: GPTBot Disallow: / # Optional: Anthropic-Training blockieren User-agent: ClaudeBot Disallow: / # Wichtig: ChatGPT-Suchbot IMMER erlauben User-agent: OAI-SearchBot Allow: / # Sitemap Sitemap: https://deine-domain.de/sitemap.xml
Kursweg-Empfehlung
Wir empfehlen Bildungsträgern: Alle Suchbots erlauben (für Sichtbarkeit), Trainingsbots nach eigenem Ermessen blockieren. Der häufigste Fehler: OAI-SearchBot aus Versehen gemeinsam mit GPTBot blockieren.
Technische Governance
Stand und Redaktion
Stand: März 2026
Informationen zur Recherche, Prüfung und Korrektur unserer Inhalte findest du in den Redaktionsrichtlinien.
Förderungen und Voraussetzungen können im Einzelfall abweichen und werden individuell geprüft.