Google XML Sitemap: Was wird aufgenommen?

Welche Inhalte automatisch in die generierte Sitemap wandern, welche nicht, und wie eigene Modul-Inhalte wie unser Tutorial-Bereich nachträglich ergänzt werden können.

Magento bringt von Haus aus genau vier "Anbieter" mit, die zusammen den Inhalt jeder generierten sitemap.xml bestimmen: die Store-Root-URL selbst, Kategorien, Produkte und CMS-Seiten. Jeder Anbieter ist eine eigene PHP-Klasse (ein sogenannter "Item Provider"), die bei jeder Generierung gefragt wird: "welche URLs sollen für diesen Store in die Sitemap?" Alles, was nicht zu diesen vier Typen gehört – etwa ein komplett eigenes Modul wie unser Tutorial-Bereich – ist für Magento unsichtbar, bis jemand einen eigenen Anbieter dafür programmiert.

Kategorien: alles oder nichts

Alle Kategorien mit Status Enable Category = Yes landen automatisch in der Sitemap – es gibt in Magento KEINEN Einzel-Schalter "diese eine Kategorie aus der Sitemap ausschließen". Auch Include in Menu = No (Kategorie aus der Navigation ausblenden) hat keinerlei Einfluss auf die Sitemap-Aufnahme – beide Einstellungen sind komplett unabhängig voneinander. Wollen Sie eine bestimmte Kategorie wirklich aus der Sitemap fernhalten, bleibt praktisch nur Enable Category = No (dann ist sie aber auch im Shop selbst nicht mehr erreichbar) oder eine gezielte Ausnahme in der robots.txt.

Produkte: sichtbar UND aktiviert

Produkte werden nach zwei Kriterien gefiltert: Enable Product = Yes (Status) UND Visibility ungleich "Not Visible Individually" (also "Catalog", "Search" oder "Catalog, Search"). Ein deaktiviertes Produkt taucht nie auf; ein aktiviertes, aber auf "Not Visible Individually" gesetztes Produkt (z. B. eine einzelne Variante eines konfigurierbaren Produkts) ebenfalls nicht – nur das übergeordnete, sichtbare Hauptprodukt wird gelistet. Auch hier gibt es kein eigenes "In Sitemap aufnehmen"-Häkchen am Produkt selbst.

CMS-Seiten

Aktive CMS-Seiten (Enable Page = Yes) werden automatisch aufgenommen – dieselbe Alles-oder-nichts-Logik wie bei Kategorien.

Priorität und Änderungshäufigkeit einstellen

Unter Stores > Configuration > Catalog > XML Sitemap stellen Sie für Kategorien, Produkte und CMS-Seiten JEWEILS getrennt Frequency (wie oft sich der Inhalt üblicherweise ändert – reine Empfehlung an Suchmaschinen, keine technische Garantie) und Priority (0.0 bis 1.0, relative Wichtigkeit innerhalb Ihrer eigenen Sitemap) ein. Im selben Bereich steuert Product Images Include Policy, ob und welche Produktbilder als zusätzliche <image>-Einträge mit in die Sitemap wandern.

Was NICHT automatisch aufgenommen wird

Jeder Inhalt, der über ein eigenes Modul läuft und keine Kategorie, kein Produkt und keine CMS-Seite ist, bleibt unsichtbar für die Sitemap – bis ein eigener Item Provider dafür registriert wird. Zwei konkrete Beispiele aus diesem Projekt:

• Magefan Blog: bringt seinen eigenen Item Provider bereits mit (registriert über dessen eigene di.xml) – Blogartikel und die Blog-Übersicht erscheinen deshalb bereits automatisch in der Sitemap, ohne dass wir dafür etwas bauen mussten.
• Unser Tutorial-Bereich (Mironsoft_Tutorial): Serien und Kapitel unter /tutorial/... sind eine komplett eigene Datenstruktur (eigene Datenbanktabellen, eigener Router) – bis vor Kurzem fehlten sie deshalb komplett in der Sitemap. Wir haben das nachgerüstet: eine neue Klasse (Mironsoft\Tutorial\Model\Sitemap\TutorialItemProvider) meldet sich über die di.xml zusätzlich bei Magentos Sitemap-Mechanismus an und liefert bei jeder Generierung alle aktiven Serien- und Kapitel-URLs pro Store mit. Für Sie als Redakteur bedeutet das: Jede neue Tutorial-Serie und jedes neue Kapitel erscheint automatisch beim nächsten Sitemap-Lauf in der Sitemap – ganz ohne manuellen Zusatzschritt.

Sitemap bei Google einreichen

Die generierte Sitemap allein reicht nicht – Google muss sie kennen. In der Google Search Console (kostenloses Google-Konto vorausgesetzt, Property für die Domain anlegen und verifizieren) unter Sitemaps die URL Ihrer Sitemap-Datei eintragen (z. B. https://ihredomain.de/sitemap_de.xml). Google crawlt sie danach regelmäßig selbstständig – ein erneutes manuelles Einreichen bei jeder Sitemap-Aktualisierung ist NICHT nötig.

Praxis-Tipp: Prüfen Sie nach größeren Content-Ergänzungen (wie einer neuen Handbuch- oder Tutorial-Serie) in der Search Console unter Sitemaps, ob die "entdeckten URLs"-Zahl sich wie erwartet erhöht hat – ein Ausbleiben deutet meist auf einen noch nicht gelaufenen Generierungs-Cronjob oder einen Fehler im zuständigen Item Provider hin.

Automatischer Eintrag in die robots.txt

Unter Stores > Configuration > Catalog > XML Sitemap > Search Engine Submission Settings schaltet Enable Submission to Robots.txt auf "Yes" eine automatische Sitemap:-Zeile in der robots.txt frei, sobald die Sitemap generiert wurde. Das hilft nicht nur Google (dort ohnehin über Search Console angemeldet), sondern auch anderen Suchmaschinen wie Bing, die Sitemaps primär über die robots.txt entdecken.

Geplante Generierung überwachen

Im Tab Generation Settings der jeweiligen Sitemap legen Sie Enabled, Start Time und Frequency (Daily/Weekly/Monthly) für die automatische Neuerzeugung per Cronjob fest. Zusätzlich lassen sich Error Email Recipient, Error Email Sender und Error Email Template hinterlegen – schlägt die Generierung fehl, erhalten Sie eine Benachrichtigung, statt es erst Wochen später an veralteten Sitemap-Inhalten zu bemerken.

Getrennte Sitemaps je Store View/Sprache

Über Add Sitemap legen Sie pro Store View eine eigene Datei an (z. B. sitemap_de.xml für die deutsche und sitemap_en.xml für die englische Store View) – jede enthält dann ausschließlich die URLs der jeweiligen Sprachversion. Das ist bei mehrsprachigen Shops wichtig, damit Suchmaschinen die korrekten, sprachspezifischen URLs crawlen und nicht versehentlich URLs eines anderen Store Views in der falschen Sitemap landen.

Größenlimits und automatische Aufteilung

Die Felder Maximum No of URLs Per File und Maximum File Size (ebenfalls unter der XML-Sitemap-Konfiguration) begrenzen, wie viele URLs bzw. wie viel Datenvolumen eine einzelne Sitemap-Datei enthalten darf – gemäß dem offiziellen Sitemap-Protokoll maximal 50.000 URLs bzw. 50 MB pro Datei. Überschreitet Ihr Shop diese Grenzen, teilt Magento die Sitemap automatisch in mehrere Dateien auf und erzeugt zusätzlich eine übergeordnete Sitemap-Index-Datei, die auf alle Teildateien verweist – ohne dass Sie selbst etwas dafür tun müssen.