---
title: "robots.txt"
url: "https://www.typo3.net/d/70640-robotstxt"
source: "typo3.net"
tags: ["Allgemein","Frage"]
created: "2007-11-19"
last_reply: "2008-07-06"
replies: 6
solved: false
page: 1
pages: 1
lang: "de"
---

# robots.txt

Allgemein · 6 Antworten · gestartet 2007-11-19

## Eröffnungsbeitrag

**dummfisch** · 2007-11-19 · [Beitrag #1](https://www.typo3.net/d/70640-robotstxt/1)

Hallo!
Die robots.txt soll ja direkt im Root-Verz. liegen.

Ich sie auch dort hinterlegt, bekomme aber diese Fehlermeldung:
*Error!
Reason: Segment "robots.txt" was not a keyword for a postVarSet as expected!*

<http://www.ebaecko.de/robots.txt>

Ich könnte sie auch ins fileadmin/ legen, aber das ist ja nicht im Sinne der SMs.

Stell ich mich da zu blöd an?

Bye, Bernd

## Antworten

### [#2](https://www.typo3.net/d/70640-robotstxt/2) · einpraegsam.​net · 2007-11-19

Mach doch mal die htaccess auf und suche die Zeile, die die Ausnahmen definiert:

```html
RewriteRule ^(typo3|t3lib|tslib|fileadmin|typo3conf|typo3temp|uploads|showpic\.php|favicon\.ico)/ - [L]
```

hier kannst du deine txt hinzufügen, dann müsste es funzen:

```html
RewriteRule ^(typo3|t3lib|tslib|fileadmin|typo3conf|typo3temp|uploads|robots\.txt|showpic\.php|favicon\.ico)/ - [L]
```

### [#3](https://www.typo3.net/d/70640-robotstxt/3) · dummfisch · 2007-11-19

Ich frag mal meinen Admin.
Vielen Dank!

### [#4](https://www.typo3.net/d/70640-robotstxt/4) · dummfisch · 2007-11-20

Ah - neee ...
Das würde helfen, wenn die robots.txt im filadmin-Verz. liegen würde.
Sie muss aber in die Root-Ebene.

Ein anderer Tip war folgendes in die .htaccess zu setzten:

```php
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-l
```

Damit soll verhindert werden, das mod_rewrite versucht, URLs umzuschreiben, die physikalisch existieren. Danke, Cybersmog - hat aber nicht geklappt.

Da muss es eine Lösung geben, denn die Jungs hier können das:
<http://www.pfizer.de/robots.txt>

### [#5](https://www.typo3.net/d/70640-robotstxt/5) · dummfisch · 2007-11-21

Ok.
Ich habe also die Ext. weeaar_robotstxt installiert, das TS editiert und im php

```php
'index' => array(
                'robots.txt' => array(
                    'keyValues' => array(
                        'type' => 201,
                    ),
                ),
             ),
```

hinzugefügt.

Jetzt krieg ich immer hin schon eine neue Fehlermeldung, juchu:
*Error! The requested page does not exist!*

Weiter geht's!

### [#6](https://www.typo3.net/d/70640-robotstxt/6) · udowald · 2008-07-06

Hallo,

ich bin genau so weit wie du letztes Jahr.
Wie geht's dann weiter?

Hattest du es geschafft die robots.txt zum Laufen zu bringen?

Gruß
udowald

### [#7](https://www.typo3.net/d/70640-robotstxt/7) · udowald · 2008-07-06

So, jetzt habe ich die weeaar_robotstxt doch noch zum Laufen gebracht.
Bei mir lag es jedenfalls an dem TS.

Habe es wie folgt geändert:

```typoscript
// robotstext config
robots = PAGE
robots {
  typeNum = 201
  config {
    disableAllHeaderCode = 1
    additionalHeaders = Content-type:text/plain
    no_cache = 1
  }
  10 >
  10 < plugin.tx_weeaarrobotstxt_pi1
  10.pid_list = 5
}
```

Auf alle Fälle config durchlaufen bevor das Plugin integriert wird.
Mit www.domain.de/robots.txt kann man testen ob es funzt.

---

Quelle: „robots.txt“, typo3.net, https://www.typo3.net/d/70640-robotstxt
Beiträge von Mitgliedern des Forums. Bitte mit Link auf die Diskussion zitieren.