Maxim Mironjuk
-
Februar 15, 2026
GPTBot, ClaudeBot, PerplexityBot, Google-Extended und CCBot durchsuchen Webseiten mit unterschiedlichen Zwecken, manche für Trainingsdaten, manche für Echtzeit-Antworten, manche für beides. Wer diese KI-Crawler undifferenziert komplett blockiert, riskiert Unsichtbarkeit bei generativen Suchsystemen. Wer alle pauschal zulässt, verliert die Kontrolle darüber, wofür der eigene Content verwendet wird. Dieser Artikel liefert konkrete robots.txt-Direktiven und eine begründete Entscheidungshilfe für jeden einzelnen KI-Crawler.