Zum Inhalt springen

Was brauche ich, um den Site Crawler nutzen zu können?

Erstellt am 25. Oktober 2006 · 10 Antworten · letzte Antwort am 23. November 2006

Tags: Suche, TYPO3 4, Frage

lemon ·

Hi Leute!

Habe eine zweisprachige Typo3 4.0.2-Seite mit Indexed Search Engine 2.9.2 im Einsatz. Wenn eine Seite im Frontend aufgerufen wird, wird sie auch korrekt indiziert. Soweit also alles in Ordnung.
Daraufhin habe ich im Ext. Manager bei der Indexed Search Engine "Disable Indexing in Frontend" eingeschaltet, weil ich die Seiten automatisch indizieren lassen möchte.
Dazu habe ich den Site Crawler 1.1.0 installiert. Aber ich werde einfach nicht schlau aus dem Handbuch, hier meine aktuellen Einstellungen:

Im Root-Template steht natürlich

page.config.index_enable = 1

damit überhaupt indiziert werden kann.

Im TSConfig der Rootseite steht

tx_crawler.crawlerCfg.paramSets {
  tt_content_index = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid]
  tt_content_index.procInstrFilter = tx_indexedsearch_reindex
  tt_content_index.baseUrl = http://192.168.0.200/aipin/
  tt_news_index = &tx_ttnews[tt_news]=[_TABLE:tt_news;_PID:24;_FIELD:uid]
  tt_news_index.procInstrFilter = tx_indexedsearch_reindex
  tt_news_index.pidsOnly = 25
  tt_news_index.cHash = 1
  tt_news_index.baseUrl = http://192.168.0.200/aipin/
}

Id 24 ist mein SysFolder mit den News, Id 24 die Single-View-Seite.

Außerdem habe ich auf der Root-Seite eine Indexierungseinstellung angelegt.
Bild: lemonline.org/indexbild.jpg

Und zu guter Letzt steht in meinem crontab

* * * * * /opt/lampp/htdocs/aipin/typo3conf/ext/crawler/cli/crawler_cli.phpsh

So, das ist meine Konfiguration, die ich aufgrund diverser "Anleitungen" im Netz zusammengebastelt habe. Trotz allem wird die Indizierung nicht durchgeführt, weder manuell über Info -> Site Crawler -> Start Crawling (Seiten unendlich) -> Crawl URLs, noch automatisch.

Hier nun meine Fragen:
1. Sind diese Einstellungen alle nötig, um den Crawler zum Laufen zu bringen?
2. Wozu lege ich einen cron-Eintrag an, der minütlich startet?
3. Oder legen die Indexierungseinstellungen fest, wann indiziert wird?
4. Meine Seite hat mehr als 3 Ebenen. Wie kann ich erreichen, daß ALLE indiziert werden, wo doch in den Indexierungseinstellungen "3 Ebenen" das Maximujm darstellt, das man einstellen kann?

Da ich nun schon eine geschlagene Woche lang versuche, das Ding zum Laufen zu bringen, hoffe ich auf Eure Hilfe.

Viele Grüße aus Südtirol!

Lemon

mstuebner ·
lemon schrieb

2. Wozu lege ich einen cron-Eintrag an, der minütlich startet?

Weil DAS SKRIPT die Indizierung vornimmt? Das Skript liegt doch sicher an der angegebenen Stelle und ist für den ApacheUser auch ausführbar?

Stocker ·

Hi lemon,
also.. komme me gleich auf den punkt,..
du ziehst dir die extension crawler runter.. installierst sie, gehts über Web>Info auf Site Crawler und von da aus auf "start crawling"..
so weit so gut.. wird unterhalb von den ganzen auswahlboxen was angezeigt?

lemon ·

@mstuebner:

Wozu brauche ich dann die Indexierungseinstellungen der Indexed Search Engine?

Der cronjob wird ausgeführt, und ich denke doch, daß er richtig ausgeführt wird. In der /var/log/messages steht

Oct 19 11:46:01 linux /usr/sbin/cron[4877]: (root) CMD (/opt/lampp/htdocs/mysite/typo3conf/ext/crawler/cli/crawler_cli.phpsh)
Oct 19 11:47:01 linux /usr/sbin/cron[4886]: (root) CMD (/opt/lampp/htdocs/mysite/typo3conf/ext/crawler/cli/crawler_cli.phpsh)
Oct 19 11:48:01 linux /usr/sbin/cron[4909]: (root) CMD (/opt/lampp/htdocs/mysite/typo3conf/ext/crawler/cli/crawler_cli.phpsh)

Fehlermeldung steht da jedenfalls keine. Aber ich werde das zu Mittag nochmal überprüfen.

@Stocker:

werde Dir am frühen Nachmittag Bescheid geben.

Inzwischen Euch beiden vielen Dank!!!

lemon ·

Hallo Regina,

sorry, da hab ich fälschlicherweise ein Verzeichnis auf meinem Webserver gelöscht #giggle#
Aber bevor ich's neu mache und rauflade: hast Du vielleicht Antworten auf meine 4 Fragen?

Viele Grüße aus Südtirol!

Lemon

typo3tester ·

Hi Lemon,

na, ob ich Dir so eine Hilfe bin?

Mein Crawler funktioniert beinahe richtig gut.
Er bricht nur den Konsolenjob nach 56 Seiten ab und der Rest wird nicht indiziiert.
Dazu mache ich gleich noch einen Thread auf.

Meine Erkenntnis ist, daß ich für die Indiziierung des Seitenbaums gar keinen zusätzlichen Eintrag als Datensatz "Indexierungseinstellungen" brauche.
Das hat definitiv schon funktioniert, bevor ich überhaupt rausbekommen habe, wo man die Indexierungseinstellungen anlegt.
Die braucht man evt. nur extra anlegen, wenn man auch Datein auf dem Server durchsuchen lassen will. Das habe ich aber noch nicht geschafft.

Die normale Suche im Seitenbaum habe ich so in der TSConfig konfiguriert:

#set up a crawl for users that arent logged in
tx_crawler.crawlerCfg.paramSets.test =
tx_crawler.crawlerCfg.paramSets.test {
cHash = 1
procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler
baseUrl =http://www......de/typotest/
}

In Info->start Crawling kann ich ja angeben, daß er unendlich tief crawlt.
Bei mir wird die 4. Ebene auch gecrawlt (mehr hab ich nicht)

Hast Du den Pfad für PATH_thisScript in der Datei /crawler/cli/crawler_cli.phpsh schon richtig angepaßt?

Da steht jetzt bei mir folgendes:
#define('PATH_thisScript',$_ENV['_']?$_ENV['_']:$_SERVER['_']);
$curf = 'e:/.../typotest/typo3conf/ext/crawler/cli/crawler_cli.phpsh';
define('PATH_thisScript',$curf);

Weiter kann ich Dir leider nicht helfen, ich bin ja auch total am Rumeiern mit dieser Suche.

Gruß, Regina

lemon ·

Hallo Regina,

ja, die Anpassung hab ich schon vorgenommen.

Du schreibst

tx_crawler.crawlerCfg.paramSets.test =

meinst Du auch "test" oder ist das nur ein Beispiel-Text? Muß ich da was anderes reinsetzen?

Was passiert, wenn Du das Skript (also die *.php-Datei) manuell startest? Bei mir passiert das minütlich, trotzdem startet die Indizierung nicht. Wenn ich das aber über Info -> Site Crawler selbst starte, läuft alles (fast) tadellos.
Warum startet die Indizierung nicht automatisch?

Viele Grüße

Lemon