Indexed Search Crawler

Hallo,
ich versuche seit Tagen Indexed Search und Crawler zum laufen zu bringen, inzwischen habe ich schon haufenweise Beiträge gelesen und keine Lösung gefunden.

Ich beschreibe mal die Konfiguration. TYPO3 4.3.1 Crawler 3.0.0 RealURL 1.5.3, die Seite ist 2-sprachig. Indexed Search klappt ohne Probleme, Seiten werden beim Frontendaufruf indiziert.

Ich habe eine Crawler Configuration angelegt und eine Indexierungseinstllung Typ Seitenbaum, den Backenduser _cli_lowlevel und zur Sicherheit _cli_crawler, letzterer soll ja nicht mehr aktuell sein.

Problem 1:
Der Crawler läßt sich nicht per Cronjob anstoßen, folgendes Script wird per Cronjob aufgerufen, es gibt keine Fehlermeldung aber es passiert nichts:
php5 /pfad/typo3/cli_dispatch.phpsh crawler

ich habe noch diverses anderes ausprobiert:
/usr/local/bin/php.5 -f /pfad/typo3/cli_dispatch.phpsh crawler

geht auch nicht. Es funktioniert auch nicht im Backend den Crawling Process per Hand anzustoßen, wie im Manual zu Crawler beschrieben durch Klick auf den grünen + Button.

Was aber geht, ist den Befehl
php5 /pfad/typo3/cli_dispatch.phpsh crawler

per Shell aufzurufen, dann wird mir ein Crawling Process angezeigt.

Problem 2:
Das sieht dann ungefähr immer so aus
d796f5a949 28-01-10 18:06:56 28-01-10 18:06:56 0 min. 0 sec. 28-01-10 18:11:56 2 2 2 Process completed successfully

Interessanterweise immer 0 min. 0 sec. es ist allerdings auch nicht viel auf den Seiten.

Im Crawler Log werden Einträge angezeigt, aber immer nur in der Seite, wo die Indexierungseinstellungen abgelegt sind, alle anderen Seiten zeigen keine Einträge. In den Einstellungen ist aber korrekt die Wurzelseite angegeben und mehrer Ebenen.

Komplett gar nicht werden die Seiten für Indexed Search indiziert hier steht bei allen Seiten Not indexed.

Vielleicht hat irgendjemand einen Tip, was verkehrt sein könnte?

Beste Güße
Niklas

Hallole!

Ich befinde mich zwar auch immer noch mit dem Crawler auf Kriegsfuß und habe den Crawler daher noch nicht produktiv eingesetzt. Aber bei meinenen Problemen handelt es sich im Wesentlichen um die sprachabhängige indexierung von tt_news.

Meine Konfiguration in Sachen Crawler:

Erweiterungmanager:
- Indexed search: Disable Indexing in Frontend angehakt

Rootpage:
- Datensatz vom Typ Crawler Configuration angelegt
- Titel des Datensatzes "indexcrawler"
- Processing instruction filter: Re-indexing [tx_indexedsearch_reindex] angehakt
- Configuration: &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid]
- Base URL: http://deinedomäne.de/
- Processing instruction parameters: tx_indexedsearch_reindex (Hier weiß ich nicht, ob der Eintrag erforderlich ist oder nicht. Habe vergessen, es ohne den Eintrag zu testen, da ich noch an dem anderen Problem tt_news rumbastele)
- Use real URLs: angehakt
- Exclude pages: Seiten-IDs eingetragen, die nicht indexiert werden sollen

Cron Jobs:
1. Cronjob - Löschen des Cach und Indexed-Search:
a) CronJob anlegen mit auszuführendem Befehl: /vollständigerPfadZuDeinerDatei/jobCacheLeeren
b) Datei jobCacheLeeren ausführbar machen
c) Inhalt der Datei:

#!/bin/bash
#
#Leeren der Cash_Tabellen
#mysql -u deinUser -pDeinPasswort deineDatenbank < /vollständigerPfadZuDeinerDatei/clearCache.sql

d) Inhalt der Datei clearCache.sql:

TRUNCATE cache_extensions \G
TRUNCATE cache_hash \G
TRUNCATE cache_imagesizes \G
TRUNCATE cache_md5params \G
TRUNCATE cache_pages \G
TRUNCATE cache_pagesection \G
TRUNCATE cache_typo3temp_log \G
TRUNCATE index_fulltext \G
TRUNCATE index_grlist \G
TRUNCATE index_phash \G
TRUNCATE index_rel \G
TRUNCATE index_section \G
TRUNCATE index_words \G
TRUNCATE tx_crawler_queue \G
\q

e) Job wird einmal täglich um 6:00 Uhr ausgeführt

2. Cronjob - CrawlerLog erzeugen:
a) CronJob anlegen mit auszuführendem Befehl: usr/bin/php5 -f /vollständigerPfadZuDeinemTYPO3/cli_dispatch.phpsh crawler_im 1 -d 99 -n 1000 -o queue -conf indexcrawler
Hinweise:
... crawler_im 1 ... Die 1 ist die PID der Rootpage
... -d 99 .... Die Anzahl der Seitenebenen, die durchsuchtr werden sollen
... -n 1000 .... Anzahl der zu indexierenden Seiten pro Durchlauf
... - -o queue ... Ergebnis wird in die CrawlerQueue gestellt
... -conf indexcrawler ... Auf der Crawler Configuration mit dem Titel indexcrawler
b) CronJob wird täglich um 6:05 Uhr ausgeführt

3. Cronjob - Indexierung
a) CronJob anlegen mit auszuführendem Befehl: usr/bin/php5 /vollständigerPfadZuDeinemTYPO3/cli_dispatch.phpsh crawler
b) CronJob wird täglich um 6:10 Uhr ausgeführt

So. Ich hoffe, dass ich alles habe. Habe die Antwort während der Zugfahrt mit dem Smartphone geschrieben und konnte nicht auf alles auf meinem Server direkt zugreifen.

Wenn noch Fragen sind, dann eine PN schicken. Ansonsten komme ich wahrscheinlich nicht vor Sonntag Mittag wieder dazu, in diesen Thread zu schauen.

Grüße

Erwin

Hallo Erwin,
schon mal vielen Dank für deine ausführlich und gute Beschreibung. Inzwischen funktionieren die Cronjobs, leider kann ich immer nur in halbstündiger Taktung testen, da der Provider es nicht anders zuläßt deswegen dauert es etwas.

Das Löschen des Caches habe ich erstmal wegelassen, ist das zwingend notwendig? Auf längere Sicht ist es natürlich hilfreich.

Eine weitere Frage: bekomme ich für "2. Cronjob - CrawlerLog erzeugen" irgendeine Rückmeldung im Backend?

Für "3. Cronjob - Indexierung" bekomme ich einen Crawling Process im Backend angezeigt, Crawler Log Einträge werden auch nun für alle Seiten erstellt. Teilweise habe ich dabei aber eine Status "Error..." Meldung.

Weißt du ob es ein Problem ist, wenn ich mehrere Indexierungseinstellungen angelegt habe und ist deren Position im Seitenbaum relevant? Im Moment liegen sie in der Root-Seite.

Aber nach wie vor erfolgt keinerlei Indexierung der Seiten für Indexed Search.

Beste Grüße
Niklas

Hallole!

Inzwischen funktionieren die Cronjobs, leider kann ich immer nur in halbstündiger Taktung testen, da der Provider es nicht anders zuläßt deswegen dauert es etwas.

Normalerweise sollte dein Provider eine händische, sprich nicht zeitgesteuerte, Ausführung vornehmen können.

Das Löschen des Caches habe ich erstmal wegelassen, ist das zwingend notwendig? Auf längere Sicht ist es natürlich hilfreich.

Zumindest in der Testphase solltest du häufiger Cache, Index und den Crawlerlog löschen, um Nebenwirkungen wie doppelte Indexes und vor allen Dingen falsche CrawlerLog-Einträge zu vermeiden.

Eine weitere Frage: bekomme ich für "2. Cronjob - CrawlerLog erzeugen" irgendeine Rückmeldung im Backend?

Ja, für den "2. Cronjob - CrawlerLog erzeugen" MUSS ein Ergebnis kommen. Zum einen bei der Jobausführung kommen Meldungen wie

Putting 35 entries in queue:

[29.01.10 19:54] index.php?id=1
[29.01.10 19:54] index.php?id=1&L=1
[29.01.10 19:54] index.php?id=2

Das Ergebnis ist dann im TYPO3-Backend unter --> Info --> Site Crawler -->Crawler Log zu sehen (am besten für "alle Seiten" anklicken)
Und genau diese Einträge werden dann im 3. Job indexiert.

Du kannst auch erst mal im Backend ausprobieren, ob der "Configuration Record" überhaupt funktioniert. Dazu unter --> Info --> Site Crawler -->Start Crawling den oder die "Configuration Record" auswählen, am besten "unendlich" auswählen und dann --> Crawl URLs --> Continue and show log. Dann sollten pro Seite Einträge wie

http://deineDomäne.de/index.php?id=17&L=1

sichtbar sein. Hier im Beispiel ohne Realurl. Wenn das gut aussieht, sollte auch der 3. CronJob sauber laufen und ein positives Ergebnis erbringen.

Weißt du ob es ein Problem ist, wenn ich mehrere Indexierungseinstellungen angelegt habe und ist deren Position im Seitenbaum relevant? Im Moment liegen sie in der Root-Seite.

Die Configuration Records sollten auf der Root Seite abgelegt werden. Du kannst durchaus mehrere Configuration Records anlegen und im 2. CronJob verwenden. Einfach durch Komma getrennt den nächsten Configuration Record anhängen

usr/bin/php5 -f /vollständigerPfadZuDeinemTYPO3/cli_dispatch.phpsh crawler_im 1 -d 99 -n 1000 -o queue -conf indexcrawler,nocheincrawler,undnocheiner

So. Das war's für heute. Wünsche viel Erfolg beim testen. Morgen habe ich kaum Zeit, um mir den Thread noch mal anzuschauen. Kannst aber ruhig Ergebnisse/Fragen posten. Ich schaue am Sonntag Vormittag rein. Bis dahin bin ich als kölsche Jeck im Karneval unterwegs. Alaaf

Grüße

erwin

Okay, nun habe ich das Problem entdeckt, wie so oft alles ganz banal. Da die Seite noch nicht veröffentlicht werden sollte, hatte ich sie per .htaccess geschützt.

Leider habe ich von den ganzen serverseitigen Vorgängen sehr wenig Ahnung jedenfalls habe ich ein wenig in der Datenbank rumgesucht und bin dabei auf eine HTTP Anfrage gestoßen, die der Crawler an die Domain richtet und die natürlich wegen .htaccess abgewiesen wird. Daher kommt also die Status "Error..." Meldung.

Das heißt also in einfachen Worten ausgedrückt, der Crawler startet seine Anfrage von aussen an die Domain, wie eben andere Suchmaschinencrawler auch. Das war mir nicht bewußt, ich dachte, das passiert alles intern.

Jedenfalls nochmal vielen Dank Erwin, deine Anleitung fand ich jedenfalls am übersichtlichsten und ich habe viele angeschaut.

Schon wieder Karneval, na dann viel Spaß!!!

Beste Grüße
Niklas

PS.: Übrigens fängt bei mir das Script jeweils so an:

/usr/local/bin/php.5 -f /Pfad...

Hat mir der Provider nach Rücksprache mitgeteilt.