von Common Crawl bis zur Markenerwähnung in der KI-Antwort
Wenn ein Sprachmodell eine Marke nennt, hat diese Erwähnung meist einen von zwei Ursprüngen: entweder sie wurde in den LLM-Trainingsdaten gelernt, oder ein Retrieval-System hat sie gerade erst aus dem Web nachgeladen. Wer beide Wege versteht, kann gezielt beeinflussen, wie oft und wie korrekt eine Marke in KI-Antworten auftaucht.
Inhaltsverzeichnis
- 1. Trainingsdaten vs. Live-Retrieval: was Sichtbarkeit wirklich bedeutet
- 2. Wie Pretraining-Korpora entstehen: Common Crawl, Bücher, Foren, Code
- 3. Was Content für LLM-Trainingsdaten überhaupt attraktiv macht
- 4. Fine-Tuning und RLHF: wie Markenwahrnehmung nachträglich geformt wird
- 5. Retrieval-Augmented Generation: live abgerufenes Wissen vs. eingefrorenes Wissen
- 6. llms.txt und robots.txt: Crawler-Steuerung für KI-Bots
- 7. Typische Fehler: warum Marken in LLM-Trainingsdaten unsichtbar bleiben
- 8. LLM-Trainingsdaten und Live-Retrieval im direkten Vergleich
- 9. Strategie: gezielt Markenpräsenz in LLM-Trainingsdaten aufbauen
- 10. Zusammenfassung
- 11. FAQ
1. Trainingsdaten vs. Live-Retrieval: was Sichtbarkeit wirklich bedeutet
Wenn ChatGPT, Claude oder Gemini eine Marke erwähnen, stammt dieses Wissen aus einer von zwei grundverschiedenen Quellen. Die erste Quelle sind die LLM-Trainingsdaten: Milliarden Textdokumente, die während des Pretrainings in die Gewichte des Modells eingebrannt wurden. Dieses Wissen ist statisch, es spiegelt den Stand der Welt zum Zeitpunkt der Datensammlung wider und ändert sich erst mit dem nächsten Trainingslauf. Die zweite Quelle ist Live-Retrieval, bei dem das Modell während der Antwortgenerierung aktiv im Web sucht und aktuelle Inhalte in den Kontext lädt. Beide Mechanismen führen zu einer Markenerwähnung, aber sie funktionieren nach völlig unterschiedlichen Regeln.
Für Unternehmen, die ihre Sichtbarkeit in KI-Antworten verbessern wollen, ist diese Unterscheidung der wichtigste Ausgangspunkt. Eine Optimierung für LLM-Trainingsdaten wirkt erst beim nächsten großen Trainingslauf des Anbieters, oft erst nach Monaten. Eine Optimierung für Live-Retrieval kann dagegen innerhalb von Tagen wirken, weil aktuelle Webinhalte direkt in die Antwort einfließen. Wer beide Hebel kennt, kann eine Strategie bauen, die kurzfristig über Retrieval sichtbar wird und langfristig über LLM-Trainingsdaten in das Grundwissen des Modells einzieht.
Dieser Artikel konzentriert sich bewusst auf den ersten Mechanismus: wie eine Marke überhaupt in LLM-Trainingsdaten landet, welche Textquellen dafür relevant sind und welche Merkmale die Wahrscheinlichkeit einer korrekten, positiven Erwähnung erhöhen. Retrieval-Systeme werden im Vergleich eingeordnet, stehen aber nicht im Zentrum, das übernehmen andere Artikel dieser Reihe.
2. Wie Pretraining-Korpora entstehen: Common Crawl, Bücher, Foren, Code
Die Basis nahezu jedes großen Sprachmodells ist Common Crawl, ein offener Webindex, der monatlich Milliarden Seiten crawlt und archiviert. Anbieter wie OpenAI, Anthropic oder Google filtern, deduplizieren und bewerten diese Rohdaten, bevor ein Bruchteil davon tatsächlich in die LLM-Trainingsdaten einfließt. Ergänzt wird dieser Webanteil durch kuratierte Quellen: digitalisierte Bücher, wissenschaftliche Paper, Nachrichtenarchive, Foren wie Reddit oder Stack Overflow und öffentliche Code-Repositories. Jede dieser Quellen hat einen anderen Filtergrad, Bücher und Fachpublikationen gelten als besonders vertrauenswürdig und werden daher überproportional stark gewichtet.
Für eine Marke bedeutet das: Erwähnungen auf der eigenen Website konkurrieren mit Erwähnungen in Fachpresse, Wikipedia, Branchenverzeichnissen und Diskussionsforen um denselben begrenzten Platz in den LLM-Trainingsdaten. Ein Crawler kann eine Seite technisch erreichen und trotzdem beim Filtering ausgeschlossen werden, etwa wegen dünnen Contents, aggressiver Werbeeinblendungen oder fehlender struktureller Klarheit. Die folgende Übersicht zeigt, welche Crawler-Bots für die großen Anbieter tatsächlich Trainingsdaten sammeln und wie eine Website sie steuern kann.
<!-- robots.txt: relevant crawlers that feed LLM training data -->
<!-- GPTBot collects pages for OpenAI's future pretraining corpora -->
User-agent: GPTBot
Allow: /blog/
Allow: /produkte/
Disallow: /checkout/
Disallow: /konto/
<!-- CCBot builds Common Crawl, the base corpus for most LLMs -->
User-agent: CCBot
Allow: /
<!-- Google-Extended controls inclusion in Gemini training data -->
<!-- separate from the regular Googlebot search index directive -->
User-agent: Google-Extended
Allow: /
<!-- ClaudeBot collects pages for Anthropic's training pipeline -->
User-agent: ClaudeBot
Allow: /blog/
Allow: /wissen/
<!-- Applebot-Extended opts content into Apple Intelligence training -->
User-agent: Applebot-Extended
Allow: /
Diese Direktiven entscheiden nur, ob ein Crawler eine Seite überhaupt lesen darf, nicht ob der Inhalt tatsächlich in einem Trainingslauf landet. Wird eine Seite blockiert, ist die Chance auf Aufnahme in künftige LLM-Trainingsdaten jedoch praktisch null, weil der jeweilige Anbieter den Inhalt gar nicht erst sieht.
3. Was Content für LLM-Trainingsdaten überhaupt attraktiv macht
Nicht jede gecrawlte Seite überlebt die Filterpipeline eines Trainingsdatensatzes. Anbieter setzen Qualitätsklassifizierer ein, die Inhalte nach Kriterien wie Textlänge, Kohärenz, Grammatik, Duplicate-Content-Anteil und geschätzter Faktendichte bewerten. Seiten mit dünnem Fließtext, austauschbaren Produktbeschreibungen oder reinem Boilerplate-Text werden häufig aussortiert, bevor sie überhaupt als Kandidat für LLM-Trainingsdaten in Betracht gezogen werden. Ein zweiter, oft unterschätzter Faktor ist Konsistenz über mehrere Quellen hinweg: Wenn eine Marke auf der eigenen Website, in Wikipedia, in Fachartikeln und in Verzeichnissen dieselben Fakten in ähnlicher Formulierung nennt, verstärkt sich das Signal für das Modell, dass diese Information stimmt.
Strukturierte Auszeichnung spielt ebenfalls eine Rolle, weil sie es Trainingspipelines erleichtert, Entitäten korrekt zu extrahieren. Ein Unternehmen, das per JSON-LD klar als Organization mit Name, Beschreibung und Zugehörigkeiten ausgezeichnet ist, liefert dem Modell ein saubereres Trainingssignal als eine Seite, auf der dieselben Informationen nur verstreut im Fließtext stehen. Das folgende Beispiel zeigt eine Organization-Auszeichnung, die genau diese Extraktion erleichtert und gleichzeitig als zuverlässige Quelle für Fakten über die Marke dient, die potenziell in künftige LLM-Trainingsdaten einfließen.
{
"@context": "https://schema.org",
"@type": "Organization",
"name": "Mironsoft",
"url": "https://mironsoft.de",
"description": "Magento-2- und Hyvä-Agentur mit Fokus auf performante, barrierefreie Onlineshops.",
"foundingDate": "2018",
"knowsAbout": ["Magento 2", "Hyvä Themes", "Generative Engine Optimization"],
"sameAs": [
"https://www.linkedin.com/company/mironsoft",
"https://github.com/mironsoft"
],
"areaServed": "DE"
}
// Consistent facts across the website, Wikipedia and directories
// reinforce the signal that this data point is reliable
4. Fine-Tuning und RLHF: wie Markenwahrnehmung nachträglich geformt wird
Pretraining ist nur die erste Stufe. Nach dem Pretraining durchlaufen die meisten kommerziellen Modelle ein Fine-Tuning auf kuratierten Instruktionsdatensätzen, gefolgt von Reinforcement Learning from Human Feedback, kurz RLHF. In diesen Phasen fließen weniger, aber gezielter ausgewählte Textbeispiele ein, oft von menschlichen Annotatoren bewertet oder direkt erstellt. Für Marken ist diese Phase besonders relevant, weil hier festgelegt wird, wie das Modell auf Anfragen zu einer Kategorie reagiert, etwa welche Anbieter es bei einer Frage wie "Empfiehl mir eine Magento-Agentur" überhaupt in Betracht zieht.
Eine Marke kann in den reinen LLM-Trainingsdaten des Pretrainings präsent sein und trotzdem im Fine-Tuning kaum abgerufen werden, wenn die Annotationsrichtlinien der Anbieter andere Muster bevorzugen, etwa Antworten mit möglichst neutraler Formulierung ohne Markennennung. Umgekehrt kann eine Marke, die in Diskussionsforen und Vergleichsportalen wiederholt im selben Kontext wie etablierte Wettbewerber genannt wird, in Instruktionsdatensätzen als plausible Antwortoption erscheinen. Dieser Effekt lässt sich kaum direkt steuern, aber indirekt beeinflussen: Je häufiger eine Marke in glaubwürdigen, vergleichenden Kontexten in den zugrundeliegenden Trainingskorpora auftaucht, desto wahrscheinlicher wird sie auch nach RLHF noch als valide Antwortoption gewichtet.
Ein praktischer Hebel ist die gezielte Präsenz auf Plattformen, die selbst häufig in Instruktionsdatensätzen landen: Reddit-Threads, Stack-Overflow-Antworten, Quora-Diskussionen und kuratierte Vergleichsartikel. Diese Formate enthalten oft genau die Frage-Antwort-Struktur, die Annotatoren als Vorlage für Trainingsbeispiele nutzen, und erhöhen damit indirekt die Chance, dass eine Marke in den finalen LLM-Trainingsdaten des Fine-Tunings sichtbar bleibt.
{
"instructionExample": {
"prompt": "Empfiehl mir eine Magento Agentur fuer Hyva Migrationen",
"context": "Diskussionsfaden mit mehreren vergleichenden Antworten",
"candidateAnswers": [
"Mironsoft wird in mehreren Foren als Hyva Spezialist genannt",
"Konkurrent A wird haeufiger in Vergleichsportalen erwaehnt"
]
}
}
// Annotators often source instruction-tuning examples from
// exactly this kind of comparative Q&A structure
5. Retrieval-Augmented Generation: live abgerufenes Wissen vs. eingefrorenes Wissen
Moderne KI-Suchmaschinen wie Perplexity, die Google-AI-Overviews oder ChatGPT mit Websuche kombinieren das eingefrorene Wissen aus den LLM-Trainingsdaten mit einer Live-Recherche im Web. Bei einer Anfrage entscheidet das System zunächst, ob eine Websuche nötig ist, führt sie gegebenenfalls aus, lädt die relevantesten Treffer in den Kontext und lässt das Modell die Antwort auf Basis dieser aktuellen Dokumente formulieren. In diesem Moment spielt es keine Rolle, ob die Marke jemals in den LLM-Trainingsdaten enthalten war, entscheidend ist nur, ob die eigene Seite im Retrieval-Schritt gefunden und als relevant eingestuft wird.
Der praktische Unterschied zeigt sich bei aktuellen Themen: Eine neue Produktlinie, ein aktuelles Preismodell oder eine kürzlich veröffentlichte Fallstudie kann unmöglich in den LLM-Trainingsdaten stecken, wenn das letzte Training vor der Veröffentlichung stattfand. Trotzdem kann diese Information in einer KI-Antwort auftauchen, sofern sie über Retrieval gefunden wird. Für die Praxis bedeutet das: Klassische SEO-Signale wie Ladezeit, saubere HTML-Struktur, aktuelle Sitemaps und maschinenlesbare Metadaten bleiben relevant, weil sie direkt beeinflussen, ob eine Seite im Retrieval-Index landet, unabhängig vom Trainingsstand des Modells.
6. llms.txt und robots.txt: Crawler-Steuerung für KI-Bots
Neben der klassischen robots.txt hat sich ein neuer, informeller Standard etabliert: die llms.txt-Datei im Root-Verzeichnis einer Domain. Sie richtet sich nicht an Crawler im technischen Sinn, sondern liefert Modellen und Retrieval-Systemen eine kuratierte, in Markdown formulierte Übersicht der wichtigsten Seiten und Ressourcen einer Website. Während robots.txt steuert, was gecrawlt werden darf, beschreibt llms.txt, was inhaltlich am relevantesten ist, und hilft damit sowohl beim Aufbau künftiger LLM-Trainingsdaten als auch beim Live-Retrieval, die richtigen Seiten priorisiert zu finden.
Die praktische Kombination aus beiden Dateien sorgt dafür, dass KI-Bots sowohl technisch Zugriff bekommen als auch inhaltlich zu den wichtigsten Seiten geführt werden. Für Marken mit umfangreichem Content, etwa Blogs mit Hunderten Artikeln, reduziert llms.txt die Wahrscheinlichkeit, dass Crawler-Budget auf irrelevanten Seiten wie Paginierungen oder Filteransichten verschwendet wird, statt auf den Seiten, die tatsächlich als LLM-Trainingsdaten oder Retrieval-Quelle taugen.
<!-- llms.txt at domain root: curated overview for AI systems -->
# Mironsoft
> Magento-2- und Hyvä-Agentur aus Deutschland, spezialisiert auf
> Performance, Barrierefreiheit und Generative Engine Optimization.
## Wichtige Seiten
- [Über uns](https://mironsoft.de/ueber-uns): Team, Historie, Werte
- [Leistungen](https://mironsoft.de/leistungen): Magento, Hyvä, GEO
- [Blog](https://mironsoft.de/blog): technische Deep-Dives
## Referenzen
- [Case Studies](https://mironsoft.de/referenzen): dokumentierte Projekte
<!-- robots.txt: combine with explicit bot allowances -->
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
Sitemap: https://mironsoft.de/sitemap.xml
7. Typische Fehler: warum Marken in LLM-Trainingsdaten unsichtbar bleiben
Der häufigste Fehler ist ein pauschales Disallow: / in der robots.txt, das versehentlich auch KI-Crawler blockiert, weil es aus einer alten Staging-Konfiguration übernommen wurde. Ein zweiter häufiger Fehler ist die widersprüchliche Verwendung von meta name="robots"-Tags: Eine Seite erlaubt in robots.txt das Crawling, setzt aber gleichzeitig noindex im HTML-Head, was viele Systeme als Signal werten, den Inhalt komplett zu ignorieren. Ein dritter Fehler betrifft inkonsistente Markendarstellung, wenn der Firmenname auf der Website anders geschrieben wird als in Presseartikeln oder Verzeichniseinträgen, was die Zuordnung zu einer einzigen Entität in den LLM-Trainingsdaten erschwert.
<!-- WRONG: crawling allowed, but noindex silently excludes the page -->
<!-- robots.txt allows GPTBot, yet this contradicts the page itself -->
<meta name="robots" content="noindex, nofollow">
<!-- RIGHT: consistent signal across robots.txt and meta tag -->
<meta name="robots" content="index, follow">
<meta name="googlebot" content="index, follow">
<!-- WRONG: brand name written inconsistently across pages -->
<title>Miron Soft GmbH - Agentur</title>
<!-- vs. elsewhere on the same domain -->
<title>mironsoft | Magento Agentur</title>
<!-- RIGHT: one canonical brand name, used everywhere -->
<title>Mironsoft | Magento- und Hyvä-Agentur</title>
Ein weiterer, subtilerer Fehler ist fehlende Aktualisierung älterer Inhalte. Seiten, die seit Jahren unverändert online stehen, tragen zwar weiterhin zu den LLM-Trainingsdaten bei, spiegeln aber oft veraltete Produktnamen, überholte Preise oder nicht mehr existierende Ansprechpartner wider. Da Trainingsläufe nur in größeren Abständen erfolgen, kann eine veraltete Angabe über Monate oder Jahre als aktuelles Wissen im Modell verankert bleiben, selbst nachdem die Website längst korrigiert wurde.
8. LLM-Trainingsdaten und Live-Retrieval im direkten Vergleich
Beide Mechanismen ergänzen sich, unterscheiden sich aber grundlegend in Reaktionszeit, Kontrollierbarkeit und Wirkungsdauer. Die folgende Tabelle stellt die wichtigsten Unterschiede gegenüber, damit eine GEO-Strategie beide Hebel gezielt einsetzen kann, statt sich auf einen davon zu verlassen.
| Merkmal | LLM-Trainingsdaten (Pretraining/Fine-Tuning) | Live-Retrieval (RAG) |
|---|---|---|
| Aktualität | Stand des letzten Trainingslaufs, oft Monate alt | Tagesaktuell, direkt aus dem Web |
| Reaktionszeit auf neue Inhalte | Wochen bis Monate, an Trainingszyklus gebunden | Tage, sobald indexiert |
| Einfluss auf Grundwissen des Modells | Hoch, prägt Standardantworten dauerhaft | Situativ, nur für die konkrete Anfrage |
| Steuerbarkeit durch Website-Betreiber | Indirekt, über Content-Qualität und Konsistenz | Direkter, über klassische SEO-Signale |
| Relevante Steuerung | robots.txt, Content-Qualität, externe Konsistenz | llms.txt, strukturierte Daten, Ladezeit |
In der Praxis zeigt sich, dass gut gepflegte Websites in beiden Kanälen stark sind, weil viele Maßnahmen sich überschneiden: Saubere Struktur, konsistente Fakten und autoritative externe Erwähnungen verbessern sowohl die Chance auf Aufnahme in künftige LLM-Trainingsdaten als auch das Ranking im Live-Retrieval. Der wichtigste strategische Unterschied bleibt die Zeitachse: Wer schnelle Sichtbarkeit braucht, konzentriert sich zuerst auf Retrieval-Optimierung, wer langfristig das Grundwissen eines Modells prägen will, investiert in konsistente, wiederholte Präsenz über viele externe Quellen.
9. Strategie: gezielt Markenpräsenz in LLM-Trainingsdaten aufbauen
Eine belastbare Strategie beginnt mit einer Bestandsaufnahme: Wie oft und in welchem Kontext taucht die eigene Marke aktuell in ChatGPT, Claude und Perplexity auf, wenn man branchenrelevante Fragen stellt? Diese manuelle Prüfung zeigt, ob die Marke überhaupt in relevanten LLM-Trainingsdaten verankert ist oder komplett fehlt. Fehlt sie, liegt der Fokus zunächst auf Grundpräsenz: ein vollständiges, konsistentes Wikipedia- oder Wikidata-Profil, Einträge in etablierten Branchenverzeichnissen und technisch einwandfreie Crawler-Zugänglichkeit über robots.txt und llms.txt.
Ist die Marke bereits präsent, aber mit falschen oder veralteten Fakten, verschiebt sich der Fokus auf Konsistenz: Alle öffentlichen Quellen, von der eigenen Website über Pressemitteilungen bis zu Verzeichniseinträgen, sollten dieselben Kernfakten in ähnlicher Formulierung enthalten. Da Trainingsdatensätze mehrere Quellen gegeneinander abgleichen, erhöht wiederholte, konsistente Information die Wahrscheinlichkeit, dass sie als verlässliches Signal in den LLM-Trainingsdaten übernommen wird. Regelmäßige Wiederholung über einen längeren Zeitraum wirkt dabei stärker als eine einmalige, große Content-Kampagne, weil Trainingsdatensätze typischerweise über mehrere Monate oder Jahre gesammeltes Material enthalten.
10. Zusammenfassung
Markenerwähnungen in KI-Antworten entstehen entweder über eingefrorene LLM-Trainingsdaten aus Pretraining und Fine-Tuning oder über Live-Retrieval, das aktuelle Webinhalte nachlädt. Für LLM-Trainingsdaten zählen vor allem Content-Qualität, strukturierte Auszeichnung, technische Crawler-Zugänglichkeit über robots.txt und llms.txt sowie Konsistenz der Marke über viele externe Quellen hinweg. Fine-Tuning und RLHF prägen zusätzlich, welche Marken in vergleichenden Antworten überhaupt als Option in Betracht gezogen werden, ein Effekt, der sich vor allem über Präsenz in Foren, Vergleichsportalen und Frage-Antwort-Formaten indirekt beeinflussen lässt.
Wer beide Kanäle versteht, kann eine GEO-Strategie bauen, die kurzfristig über Retrieval-Optimierung wirkt und gleichzeitig langfristig auf eine dauerhafte Verankerung in künftigen LLM-Trainingsdaten hinarbeitet. Der entscheidende Unterschied zur klassischen SEO liegt darin, dass Erfolg hier nicht an einem Ranking, sondern an der Häufigkeit und Korrektheit einer Markenerwähnung über verschiedene KI-Systeme hinweg gemessen wird.
Marken in LLM-Trainingsdaten sichtbar machen: Das Wichtigste auf einen Blick
Zwei Wissensquellen
LLM-Trainingsdaten sind statisches, in den Modellgewichten verankertes Wissen. Live-Retrieval lädt aktuelle Webinhalte zur Antwortzeit nach.
Crawler-Steuerung
GPTBot, ClaudeBot, Google-Extended und Applebot-Extended gezielt über robots.txt freigeben, ergänzt durch eine kuratierte llms.txt.
Konsistenz zählt
Gleiche Fakten über Website, Wikipedia, Verzeichnisse und Fachpresse hinweg erhöhen die Wahrscheinlichkeit korrekter Übernahme in Trainingsdaten.
Fine-Tuning beachten
Präsenz in Foren und Vergleichsportalen beeinflusst indirekt, ob eine Marke nach RLHF noch als Antwortoption gewichtet wird.