Mich würde mal interessieren, wer von euch eine robots.txt bei seinen TYPO3 Projekten einsetzt bzw. bewußt nicht einsetzt. Bei anderen CMS Systemen wie TYPOlight, Joomla und den anderen üblichen Verdächtigen wird eine robots.txt meistens schon mit den Source-Files mitgeliefert. Bei TYPO3 ist das ja nicht der Fall (von Extensions wie sa_robotstxt usw. mal abgesehen).
Da die robots.txt auch nur eine "Empfehlung" für die Spider und Crawler ist und diese nicht zwingend an die Vorgaben gebunden werden, fänd ich es mal grundsätzlich interessant zu wissen, wie ihr über den Einsatz von robots.txt Dateien denkt.
Freu mich auf euer Feedback
Halte ich schon für sinnvoll. Da ich z.B. nicht alle PDFs/DOCs etc. bei google haben will. Außerdem schließ ich für die Suchmaschinen "unnötige" Seiten aus, da diese die Suchergebnisse verwässern könnten. Ist zwar nicht sehr relevant aber schaden kanns auch nix.
Also ich bin auch dafür, da man damit den Spidern auch mal ganz nette Tipps geben kann welche Seiten es noch gibt, die man vielleicht nicht direkt über die Seite erreichen kann. (versteckte Hilfeseiten).
Außerdem wie gesagt kann man die Spider damit ein wenig in die richtige Richung schubsen wo sie was spannendes finden können. (Hinweis auf XML-Sitemap)
generel ist ne robots.txt gut. jedoch darf man nicht meinen das ein deny immer als ein solcher wirkt.
"gute" Suchmaschinen mögen sich daran halten, schlechte gerade danach suchen! Es ist ja nicht dadurch ausgeschlossen das eine Suchmaschine die Daten bekommt, sondern nur ein "Bitte nimm das nicht in deinen Katalog auf". also auf keinen Fall etwas wie
Disallow: /supermegageheim/budgetzahlen.html
Da freut sich dann auch die Konkurrenz...