Zum Inhalt springen

Was brauche ich, um den Site Crawler nutzen zu können?

Erstellt am 25. Oktober 2006 · 10 Antworten · letzte Antwort am 23. November 2006

Tags: Suche, TYPO3 4, Frage

mstuebner ·
lemon schrieb

2. Wozu lege ich einen cron-Eintrag an, der minütlich startet?

Weil DAS SKRIPT die Indizierung vornimmt? Das Skript liegt doch sicher an der angegebenen Stelle und ist für den ApacheUser auch ausführbar?

Stocker ·

Hi lemon,
also.. komme me gleich auf den punkt,..
du ziehst dir die extension crawler runter.. installierst sie, gehts über Web>Info auf Site Crawler und von da aus auf "start crawling"..
so weit so gut.. wird unterhalb von den ganzen auswahlboxen was angezeigt?

lemon ·

@mstuebner:

Wozu brauche ich dann die Indexierungseinstellungen der Indexed Search Engine?

Der cronjob wird ausgeführt, und ich denke doch, daß er richtig ausgeführt wird. In der /var/log/messages steht

Oct 19 11:46:01 linux /usr/sbin/cron[4877]: (root) CMD (/opt/lampp/htdocs/mysite/typo3conf/ext/crawler/cli/crawler_cli.phpsh)
Oct 19 11:47:01 linux /usr/sbin/cron[4886]: (root) CMD (/opt/lampp/htdocs/mysite/typo3conf/ext/crawler/cli/crawler_cli.phpsh)
Oct 19 11:48:01 linux /usr/sbin/cron[4909]: (root) CMD (/opt/lampp/htdocs/mysite/typo3conf/ext/crawler/cli/crawler_cli.phpsh)

Fehlermeldung steht da jedenfalls keine. Aber ich werde das zu Mittag nochmal überprüfen.

@Stocker:

werde Dir am frühen Nachmittag Bescheid geben.

Inzwischen Euch beiden vielen Dank!!!

lemon ·

Hallo Regina,

sorry, da hab ich fälschlicherweise ein Verzeichnis auf meinem Webserver gelöscht #giggle#
Aber bevor ich's neu mache und rauflade: hast Du vielleicht Antworten auf meine 4 Fragen?

Viele Grüße aus Südtirol!

Lemon

typo3tester ·

Hi Lemon,

na, ob ich Dir so eine Hilfe bin?

Mein Crawler funktioniert beinahe richtig gut.
Er bricht nur den Konsolenjob nach 56 Seiten ab und der Rest wird nicht indiziiert.
Dazu mache ich gleich noch einen Thread auf.

Meine Erkenntnis ist, daß ich für die Indiziierung des Seitenbaums gar keinen zusätzlichen Eintrag als Datensatz "Indexierungseinstellungen" brauche.
Das hat definitiv schon funktioniert, bevor ich überhaupt rausbekommen habe, wo man die Indexierungseinstellungen anlegt.
Die braucht man evt. nur extra anlegen, wenn man auch Datein auf dem Server durchsuchen lassen will. Das habe ich aber noch nicht geschafft.

Die normale Suche im Seitenbaum habe ich so in der TSConfig konfiguriert:

#set up a crawl for users that arent logged in
tx_crawler.crawlerCfg.paramSets.test =
tx_crawler.crawlerCfg.paramSets.test {
cHash = 1
procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler
baseUrl =http://www......de/typotest/
}

In Info->start Crawling kann ich ja angeben, daß er unendlich tief crawlt.
Bei mir wird die 4. Ebene auch gecrawlt (mehr hab ich nicht)

Hast Du den Pfad für PATH_thisScript in der Datei /crawler/cli/crawler_cli.phpsh schon richtig angepaßt?

Da steht jetzt bei mir folgendes:
#define('PATH_thisScript',$_ENV['_']?$_ENV['_']:$_SERVER['_']);
$curf = 'e:/.../typotest/typo3conf/ext/crawler/cli/crawler_cli.phpsh';
define('PATH_thisScript',$curf);

Weiter kann ich Dir leider nicht helfen, ich bin ja auch total am Rumeiern mit dieser Suche.

Gruß, Regina

lemon ·

Hallo Regina,

ja, die Anpassung hab ich schon vorgenommen.

Du schreibst

tx_crawler.crawlerCfg.paramSets.test =

meinst Du auch "test" oder ist das nur ein Beispiel-Text? Muß ich da was anderes reinsetzen?

Was passiert, wenn Du das Skript (also die *.php-Datei) manuell startest? Bei mir passiert das minütlich, trotzdem startet die Indizierung nicht. Wenn ich das aber über Info -> Site Crawler selbst starte, läuft alles (fast) tadellos.
Warum startet die Indizierung nicht automatisch?

Viele Grüße

Lemon