Wenn ihr in TYPO3 unterschiedliche BE-Projekte inkl. unterschiedlichen Domains habt, wo automatisiert die robots.txt mit unterschiedlichen Konfigurationen und Sitemap´s angelegt werden soll, so kann man die Einstellungen in der site-config im YAML eintragen:
routes:
-
route: robots.txt
type: staticText
content: |
User-agent: *
Allow: /
Disallow: /typo3/
Sitemap: https://example.org/sitemap.xml
Sitemap: https://example.org/en/sitemap.xml
Weitere Informationen gibt es in der TYPO3 Docu: https://docs.typo3.org/m/typo3/reference-coreapi/main/en-us/ApiOverview/SiteHandling/StaticRoutes.html#static-routes
Somit wird nun pro Backend-Projekt eine neue robots.txt je nach URL angelegt.
Ursprünglich erschienen am 20.11.2022 auf typo3-probleme.de.