Hallo,
ich habe mich damit beschäftigt, den Site Crawler auf unserer Internetseite zu integrieren. Habe auch schon das Manual und verschieden Forenbeiträge gelesen. Mein Problem ist dennoch, dass ich nicht genau weiß, was ich ins TSConfig schreiben muss.
Will nämlich nicht erst alle Seiten im Frontend durchglicken,bis diese indexiert sind, sondern der Crawler soll dies automatisch machen. Dabei soll der den Inhaltsbereich und die news dursuchen.
Bisher habe ich die die Suchmarker <!--TYPO3SEARCH_begin--> bzw. <!--TYPO3SEARCH_end--> in meinem Template und ins TSConfig hab ich erst mal das vom Mannual (typo3.org) geschrieben. Aber so wirklich geht das nicht. Die Seiten werden erst indexiert, wenn man im Frontend die Seite anklickt.
Danke für eure Hilfe!!!!
Devil
Das würde mich auch interessieren. Habe die letzten 2 Stunden damit verbracht, sowohl das Manual als auch diverse Forenbeiträge zu studieren, werde aber nicht schlau daraus.
Mein Template-TS beinhaltet folgendes:
tx_crawler.crawlerCfg.paramSets {
language = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid]
language.procInstrFilter = tx_indexedsearch_reindex, tx_cachemgm_recache
language.baseUrl = http://192.168.0.200/mysite/
tt_news = &tx_ttnews[tt_news]=[_TABLE:tt_news;_PID:24]
tt_news.procInstrFilter = tx_indexedsearch_reindex, tx_cachemgm_recache
tt_news.pidsOnly = 24
tt_news.cHash = 1
tt_news.baseUrl = http://192.168.0.200/mysite/
}
Der SysFOlder mit den News hat die ID 24.
Auch habe ich eine Typo3-User mit Namen "_cli_crawler" angelegt, das stimmt doch, oder? Jedenfalls erhalte ich keinerlei Fehlermeldung beim Starten des cronjobs, trotzdem wird nicht mal eine einzige Seite indiziert.
Was kann denn da falsch sein?
Meine Konfiguration:
- Typo3 4.0.2
- Indexed Search 2.9.2
- Site Crawler 1.1.0
Viele Grüße aus Südtirol!
Lemon
Ok, habe nun den Code im Root-Template gelöscht und ins Root-TS eingetragen.
Nach einem Serverneustart wird auch mit dr Indizierung begonnen. Nach Abschluss der Indizierung (dauert ca. 5 Minuten) sind dann alle Seiten im Index. Allerdings wird, obwohl minütlich der crawler startet (steht jedenfalls unter "CLI status"), keine weitere Indizierung mehr vorgenommen, sodaß Änderungen nicht berücksichtigt werden.
Im crontab steht bei mir
* * * * * /opt/lampp/htdocs/mysite/typo3conf/ext/crawler/cli/crawler_cli.phpsh
Die manuelle Ausführung desselben gibt mir keinerlei Fehlermeldung zurück.
Hat jemand eine Idee, wie nach dem Serverneustart indiziert wird und nachher nicht mehr?
Viele Grüße
Lemon
EDIT:
Sorry Leute, das mit dem Serverneustart war anscheinend nur Zufall, denn gestern hat die Indizierung nicht klappen wollen (wie jetzt auch), und heute hat er nach dem Neustart gleich losgelegt. Nach Löschen der Indizes und dem nächsten Neustart war's aber Sense mit einer neuen Indizierung.
In der /var/log/messages steht nur
Oct 19 11:46:01 linux /usr/sbin/cron[4877]: (root) CMD (/opt/lampp/htdocs/mysite/typo3conf/ext/crawler/cli/crawler_cli.phpsh)
Oct 19 11:47:01 linux /usr/sbin/cron[4886]: (root) CMD (/opt/lampp/htdocs/mysite/typo3conf/ext/crawler/cli/crawler_cli.phpsh)
Oct 19 11:48:01 linux /usr/sbin/cron[4909]: (root) CMD (/opt/lampp/htdocs/mysite/typo3conf/ext/crawler/cli/crawler_cli.phpsh)
Das Skript startet also minütlich, scheint also alles ohne Fehler abzulaufen.
Was fehlt denn hier bloß? Einmal hat's ja geklappt, auch wenn ich nicht weiß warum?![/b]