Hallo Leute,
seit einigen wenigen Tagen, erfolgt die Auswertung einer Webseite unter http://www.seitwert.de u.a unter Berücksichtigung der robots.txt.
Nun stellte sich mir die Frage, wie ich in einer mit TYPO3 verwalteten Domain eine robots.txt zur Verfügung stellen kann. Darauf hin fand ich die Extension weeaar_robotstxt. Ich habe das Teil installiert und so wie beschrieben konfiguriert. Prüfe ich unter seitwert.de diese Seite ab, so wird nach wie vor moniert, dass die robots.txt nicht vorhanden sei.
Wer kann helfen?