16.09.2025
Hinter jedem Zitat, das ChatGPT, Claude oder Perplexity aus einer Website erzeugt, steckt ein KI-Crawler, der die Seite zuvor gelesen hat. Wer die User-Agent-Strings von GPTBot, ClaudeBot, PerplexityBot und Google-Extended kennt, kann im Server-Log unterscheiden, ob ein Modell gerade trainiert oder live eine Antwort recherchiert, und die eigene Website gezielt über robots.txt und llms.txt für diesen Traffic öffnen oder sperren.