Zum Inhalt springen

robots.txt

Erstellt am 19. November 2007 · 6 Antworten · letzte Antwort am 6. Juli 2008

Tags: Frage

dummfisch ·

Hallo!
Die robots.txt soll ja direkt im Root-Verz. liegen.

Ich sie auch dort hinterlegt, bekomme aber diese Fehlermeldung:
Error!
Reason: Segment "robots.txt" was not a keyword for a postVarSet as expected!

http://www.ebaecko.de/robots.txt

Ich könnte sie auch ins fileadmin/ legen, aber das ist ja nicht im Sinne der SMs.

Stell ich mich da zu blöd an?

Bye, Bernd

einpraegsam.​net ·

Mach doch mal die htaccess auf und suche die Zeile, die die Ausnahmen definiert:

RewriteRule ^(typo3|t3lib|tslib|fileadmin|typo3conf|typo3temp|uploads|showpic\.php|favicon\.ico)/ - [L]

hier kannst du deine txt hinzufügen, dann müsste es funzen:

RewriteRule ^(typo3|t3lib|tslib|fileadmin|typo3conf|typo3temp|uploads|robots\.txt|showpic\.php|favicon\.ico)/ - [L]
dummfisch ·

Ah - neee ...
Das würde helfen, wenn die robots.txt im filadmin-Verz. liegen würde.
Sie muss aber in die Root-Ebene.

Ein anderer Tip war folgendes in die .htaccess zu setzten:

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-l

Damit soll verhindert werden, das mod_rewrite versucht, URLs umzuschreiben, die physikalisch existieren. Danke, Cybersmog - hat aber nicht geklappt.

Da muss es eine Lösung geben, denn die Jungs hier können das:
http://www.pfizer.de/robots.txt

dummfisch ·

Ok.
Ich habe also die Ext. weeaar_robotstxt installiert, das TS editiert und im php

'index' => array(
                'robots.txt' => array(
                    'keyValues' => array(
                        'type' => 201,
                    ),
                ),
             ),

hinzugefügt.

Jetzt krieg ich immer hin schon eine neue Fehlermeldung, juchu:
Error! The requested page does not exist!

Weiter geht's!

udowald ·

Hallo,

ich bin genau so weit wie du letztes Jahr.
Wie geht's dann weiter?

Hattest du es geschafft die robots.txt zum Laufen zu bringen?

Gruß
udowald

udowald ·

So, jetzt habe ich die weeaar_robotstxt doch noch zum Laufen gebracht.
Bei mir lag es jedenfalls an dem TS.

Habe es wie folgt geändert:

// robotstext config
robots = PAGE
robots {
  typeNum = 201
  config {
    disableAllHeaderCode = 1
    additionalHeaders = Content-type:text/plain
    no_cache = 1
  }
  10 >
  10 < plugin.tx_weeaarrobotstxt_pi1
  10.pid_list = 5
}

Auf alle Fälle config durchlaufen bevor das Plugin integriert wird.
Mit www.domain.de/robots.txt kann man testen ob es funzt.