Hallo Leute,
in welches der vielen Verzeichnisse von TYPO3 stelle ich eigentlich eine robots.txt? Wie sollte eine robots.txt ausschauen? Wie funktioniert das ganze, wenn ich unter einer TYPO3-Installation unterschiedliche, eigenständige Domains habe, die auch jeweils eine eigene robots.txt "erhalten" sollen?
PS.: ich nutze simulateStatic
Ins root Verzeichnis, damit diese Text Datei so aufrufbar ist:
www.deinedomain.org/robots.txt
Wie sollte sie aussehen:
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html
TER:
sa_robotstxt
meinst Du in die TYPO3-Installations-Root?
Zusatzfrage:
ich würde alle robots.txt-Dateien mit der Extension sa_robotstxt in einem zentralen Verzeichnis vorhalten. Müssen die Dateien unbedingt "robots.txt" heissen oder kann ich die auch robots_domain1.txt, robots_domain2.txt ... benennen?
Das alles ist schon beantowrtet worden. Folge doch einfach mal dem obigen Link