Zum Inhalt springen

Crawler indiziiert nur ca. die Hälfte des Seitenbaums

Erstellt am 2. November 2006 · 4 Antworten · letzte Antwort am 7. November 2006

Tags: Suche, Frage

typo3tester ·

Hallo,

ich habe inzwischen meinen Crawler soweit eingerichtet, daß er via Script meine Seiten indiziiert.

Ich habe über Info->Start Crawling eingerichtet, welche URL's er durchcrawlen soll.

Die Seiten liegen alle im gleichen Seitenbaum, z.T. auf der gleichen Seite.
Sie haben alle den gleichen Seiten-Typ als Inhalt und stehen dem gleichen Frontend-User zur verfügung.

Ein von 268 URLs werden nur 67 indiziiert.

Ich rufe das Script mit Putty über eine SSH-Verbindung auf.

Zuerst dachte ich an einen Timeout, weil immer nach ca. 15 Minunten der Cli-Status auf Ended steht.

Aber der Timeout in der PHP.ini ist hochgesetzt.

Woran kann das noch liegen?

Gruß, Regina

typo3tester ·

Hi,

Der Crawler scheint in der Tat ein Problem gehabt zu haben, weil er so viele Seiten neu indiziieren mußte.

Ich habe einfach hintereinander immer wieder das Cli-Script via SSH aufgerufen und er hat jedesmal einen weiteren Block Seiten abgearbeitet.

Inzwischen habe ich einen Job eingerichtet, der das nächtlich automatisch erledigen soll und der erkennt jetzt korrekt neue oder geänderte Seiten und indiziiert die.

Gruß, Lissy

schansi ·

Hallo typo3tester,

wie hast Du das mit der automatisierung gemacht, bei mir hört der crawler immer schon nach ca. 100 sekunden auf und geht nicht in die tiefe der unterseiten, es wird immer nur die erste Seite gecrawlt aber nicht die darunter, ich möchte tt_products artikel damit crawlen.

Tschau Schansi
http://www.kehls-elektronik.de

typo3tester ·

Hallo schansi,

ich habe das eingestellt bei Info->Crwawler->Start Crawling und dann Unendlich für die Tiefe im Seitenbaum.

Mir fehlt allerdings an der Stelle das Verständnis, wie das mit tt_produkts Tabellen funktioniert.
Sollte da nicht die Indexierungs-Einstellung vom Typ "Datenbank Datensätze" sein statt Seitenbaum?

Besser, es meldet sich noch jemand, der sich damit wirlich auskennt.

Gruß, Regina

schansi ·

Hi typo3tester,

der crawler kann ja durch den Seitenbaum crawlen solange er auch alle ebenen durchgeht, nur bricht er jedesmal nach etwa 100 sekunden ab das länste war 167 sekunden aber da ist lange noch nicht alles fertig.

Wenn ich es jetzt erst mal so einstellen könnte wie bei dir das er dann neu startet ist mir auf jeden Fall erst mal geholfen sofern er nicht immer das gleich crawlern tut.

Tschau Schansi
http://www.kehls-elektronik.de