--- title: "indexed_search und crawler" url: "https://www.typo3.net/d/71107-indexed-search-und-crawler" source: "typo3.net" tags: ["Extensions","Frage","Suche"] created: "2007-11-30" last_reply: "2010-02-10" replies: 38 solved: false page: 1 pages: 1 lang: "de" --- # indexed_search und crawler Extensions · 38 Antworten · gestartet 2007-11-30 ## Eröffnungsbeitrag **jonas8** · 2007-11-30 · [Beitrag #1](https://www.typo3.net/d/71107-indexed-search-und-crawler/1) Hallo Leute Ich habe bei einer Site den Crawler installiert und konfiguriert. Wenn man weiss wie ist es gar nicht so schwierig. Hier mal meine Vorgehensweise und ein paar Fragen: 1.) indexed_search installieren, konfigurieren und testen 2.) crawler per Ext Manager installieren 3.) per SSH auf den Server und cronjob einrichten, crontab -e mit i - in den Insert-Modus * * * * * /pfad/zum/www/typo3/cli_dispatch.phpsh crawler mit 'ESC' und dann :wq - Speichen und verlassen 4.) Im Backend den User '_cli_lowlevel' anlegen und wieder auf dem Server zum Kontrollieren ob der Pfad usw. korrekt ist /pfad/zum/www/typo3/cli_dispatch.phpsh crawler von Hand ausführen. (Wenn keine Meldungen, kann es weiter gehen.) 5.) TSconfig Page auf der root-Seite: # crawler für nicht angemeldete User tx_crawler.crawlerCfg.paramSets { content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] content.procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler content.baseUrl = } # crawler für User der Gruppe 1 tx_crawler.crawlerCfg.paramSets { gruppe1 < tx_crawler.crawlerCfg.paramSets.content gruppe1.userGroups = 1 } 6.) Danach muss man in einem SysFolder ein neues Content-Element anlegen - Indexierungseinstellungen Dem gibt man einen Titel, die häufigkeit der Reindexierung, den Typ (Seitenbaum), Startseite und die Tiefe der Indexierung (3 Ebenen) Damit sollte es funktionieren. Für Korrekturen oder Anregungen bin ich dankbar Eine Frage. Was ist besser? content = &L=[0-3] oder content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] und braucht es ein: content.procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler oder reicht ein: content.procInstrFilter = tx_indexedsearch_reindex Vielen Dank und Gruss Jonas ## Antworten ### [#2](https://www.typo3.net/d/71107-indexed-search-und-crawler/2) · kanticus · 2007-12-21 Hallo Jonas, auch ich bin gerade dabei, mit indexed search und crawler eine vernünftige Suchfunktionalität in eine Website zu integrieren. Die Ergebnisse, die ich dabei erhalte, sind nicht besonders zufriedenstellend. Die Doku zu beiden Extensions schweigt sich m. E. zu wichtigen Punkten der Funktionalität beider Partner und zum Gesamtkonzept der Suche aus, so dass man auf viel eigenes Probieren angewiesen ist. Vielleicht schaffen wir es, mit vereinter Forumskraft, über Deinen Beitrag etwas mehr Licht in die Sache zu bringen. Zuerst einige Anmerkungen zu Deiner Konfiguration des crawlers per TSconfig. ```typoscript # crawler für nicht angemeldete User tx_crawler.crawlerCfg.paramSets { content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] content.procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler content.baseUrl = http://www.deineDomain.net/ } # crawler für User der Gruppe 1 tx_crawler.crawlerCfg.paramSets { gruppe1 < tx_crawler.crawlerCfg.paramSets.content gruppe1.userGroups = 1 } ``` Antworten auf Deine Fragen. Bei der URL-Konfiguration für Mehrsprachigkeit ist eindeutig die zweite Version die bessere. ```typoscript content = &L=[0-3] ``` oder ```typoscript content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] ``` &L=[0-3] arbeitet nach dem Gießkannenprinzip und legt für jede Seite und jede Sprache einen Url-Aufruf an. &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] arbeitet dagegen intelligent und setzt nur die GET-Variable L auf den Seiten, die tatsächlich auch übersetzt sind (_TABLE:pages_language_overlay) und zwar nur für die Sprachen, die auch vorhanden sind (_FIELD:sys_language_uid). Wichtig die Leeroption [ |]. Sie veranlasst den Crawler, einen Aufruf ohne L für die Standardsprache zu generieren. Was die Processing Instructions angeht, so dienen sie m. E. dazu, dem Crawler mitzuteilen, für welche Extension der TSconfig-Block gelten soll. Mit ```typoscript content.procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler ``` würdest Du also sagen, dass der Crawler diese Definitionen neben indexed search auch für seine Arbeit einsetzen soll. Der Crawler ist aber nur der Dienstleister und braucht keinerlei URL-Abfragen für seine Arbeit. Wäre das anders, müsste der Crawler im BE => Info => Site Crawler bei Einstellung "Srart Crawling" bei Processing Instructions wie indexed search auftauchen, was er ja nicht tut. Jetzt einige Fragen zu Deinen Überlegungen beim Schreiben des oberen TSconfig und zu Deinen Erfahrungen mit der oben angegebenen Konfiguration. Deine Aufteilung der URL-Konfiguration in content und gruppe1 hat wohl den Sinn, unterschiedliche Abfragen für jede Seite mit und ohne Zugriffsbeschränkung über FE-User Gruppen zu generieren. Dies ergibt auch auf den ersten Blick einen Sinn, denn so findet der Crawler sowohl die offenen wie die zugriffsbeschränkten Seiten. Ich habe bei meinen Tests aber mal versuchsweise die Gruppeneinbeziehung in die Definitionen für die Mehrsprachigkeit gepackt (content.userGroups = 0,1,2,3,4). Der Crawler hat bei mir damit auch alle geschützten Seiten indiziert. Die FE-User-Geschichte taucht auch nicht in den GET-Parametern auf. Der Crawler scheint also keine eigenen URL-Abfragen zu brauchen, um die Zugriffsrechte zu verarbeiten. Ist diese Teilung auf Deinen eigenen Überlegungen gewachsen oder was hat Dich zu dieser Teilung veranlasst? Übrigens, relevant ist die Entscheidung dieser Frage deshalb, weil man mit einem eigenen Key bei großen Websites die Crawler-Warteschlange mit eine großen Packung unnötiger Abfragen füttern würde. Funktioniert bei Dir diese Konfiguration mit den FE-Usergroups überhaupt wunschgemäß? Ich bekomme nämlich meine Zugriffsbeschränkung über FE-User Gruppen nicht so hin, dass die Suche hinterher bei einem angemeldeten User fehlerfrei funktioniert. Zwar indiziert der Crawler die zugangsbeschränkten Seiten. Und melde ich mich mit einem FE-User an und starte die Suche, bekomme ich eine passende Trefferliste (offene und geschützte Seiten). Die Vorschau der Treffer moniert jedoch: "Hinweis: Der Inhalt dieser Seite entspricht nicht exakt der Suche. Die Seitenvorschau wird nicht angezeigt." Besuche ich die Seite dann angemeldet (Indizierung beim Cachen), wird eine richtig zugeordnete Vorschau erstellt. Da ich mehrere Gruppen habe, versuchte ich die userGroups-Eigenschaft in einem einzigen Block (gruppe1.userGroups = 1,2,3,4) und wie Du in jeweils eigenen Blöcken (gruppe1.userGroups = 1, gruppe2.userGroups = 2)unterzubringen. Auch die oben genannte Variante (Zugriffsrechte und Mehrsprachigkeit zusammen) zeigte dieses Verhalten. Das Endergebnis bliebt immer wie oben beschreiben. Tritt bei Dir dieses Problem auch auf? Hättest Du eine Ahnung, was der Crawlerkonfiguration fehlt? (Scheint ja nicht das Problem der indexed search zu sein, denn dann dürfte die Indizierung beim Cachen auch nicht funktionieren) So, ich denke für eine erste Antwort soll es jetzt reichen. Gruß kanticus ### [#3](https://www.typo3.net/d/71107-indexed-search-und-crawler/3) · jonas8 · 2007-12-21 Hallo kanticus Vielen Dank für dein Feedback. Ich muss dazu noch sagen, dass ich meine Infos alle irgendwie zusammengetragen habe. Mail-Listen-Archiv, Forum, Wiki usw. Und das dort alles etwas anders beschrieben wird. Deswegen auch meine Fragen. > Bei der URL-Konfiguration für Mehrsprachigkeit ist eindeutig die zweite Version die bessere. > content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] Ja, denke ich auch aber im Manual zum crawler steht das nicht (seite 4) dort sind nur die Beispiele &L=[0-3] usw. > Was die Processing Instructions angeht, so dienen sie m. E. dazu, dem Crawler mitzuteilen, für welche Extension der TSconfig-Block gelten soll. Mit > content.procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler Ja, das denke ich auch. Es ist nur so, dass es im wiki.typo3.org zur Ext mit 'tx_indexedsearch_crawler' steht. Siehe hier: > Funktioniert bei Dir diese Konfiguration mit den FE-Usergroups überhaupt wunschgemäß? Ja schon, aber ich hatte bis jetzt nur immer eine Redaktoren-Gruppe zu bedienen. Im Wiki stehen auch die Beispiele mit den Gruppen. Und weiter unten steht auch wie man es machen kann, wenn man Users in mehreren Gruppen hat. (so weit ich das verstanden habe) Massgebend für die Gruppen ist im Infomodul zur Indexsuche die 'grlist' Bitte schreibe deine Erfahrungen, wenn du damit weiter gekommen bist. Viele Grüsse Jonas ### [#4](https://www.typo3.net/d/71107-indexed-search-und-crawler/4) · kanticus · 2007-12-27 Hallo Jonas, habe mir inzwischen den Beitrag im Wiki angeschaut. Irgendwelche Hintergrundinfos sind dort leider auch nicht zu finden, die die Sache vom Funktionsprinzip her klären würden. Auch manch eine Einstellung scheint mir fragwürdig. Die Erläuterung zu den FE-Benutzergruppen konnte ich aber so, wie sie da steht, nachvollziehen. Habe daraufhin mein TSconfig umgebaut und siehe da, mein Problem hängt genau mit meiner bisher falschen Interpretation der Eigenschaft userGroups. Die Eigenschaft userGroups innerhalb eines Key-Blocks teilt nach den Ausführungen dort und meinen Tests dem Crawler anscheinend nicht mit, für welche FE-Benutzergruppen diese gelten soll, sondern nennt einen ganz spezifischen beispielhaften Benutzertyp mit bestimmter Gruppenzugehörigkeit, für den der Block wirksam ist. Der Block ist demnach so zu lesen, als ob die durch ihn definierten Aufrufe von einem Benutzer mit den in userGroups definierten Benutzergruppenzugehörigkeiten abgesetzt worden wären. Hat eine Site also vier FE-Benutzergruppen ( 1,2,3,4) und Benutzer, die ganz bunt diesen vier Gruppen zugeordnet sind, so muss man so viele Key-Blocks anlegen, wie viele Kombinationen von Bentzergruppen bei den Benutzern real vorkommen. userGroups = 1 (für Benutzertyp, der nur zu 1 dazugehört) userGroups = 1,2 (für Benutzertyp, der zu 1 und 2 dazugehört) userGroups = 1,2,3 (für Benutzertyp, der zu 1, 2 und 3 dazugehört) userGroups = 1,3 (für Benutzertyp, der zu 1 und 3 dazugehört) .... Folge dieses Konzepts ist ein wahrer Overkill für die Warteschlange des Crawlers oder die Streuung von TSconfig-Einträgen auf alle relevanten Stellen der Site. Beide Varianten nicht gerade fein aber wohl nicht zu umgehen. Für Benutzertypen, die durch einen passenden Block abgedeckt waren (userGroups entprechend der Gruppenzugehörigkeiten des Benutzers), lieferte die Suche korrekte Trefferlisten. Für Benutzer ohne passende userGroups-Definition gab es nur treffer mit: "Hinweis: Der Inhalt dieser Seite entspricht nicht exakt der Suche. Die Seitenvorschau wird nicht angezeigt." Könnte jemand ein paar Takte dazu schreiben, wie die indexed search die Datensätze der Tabelle index_grlist erzeugt und nutzt? Dies ist nämlich wohl der Zusammenhang, der die ganze Geschichte steuert. Zum Schluss ein kleiner Hinweis zur Sprachwahl. Die Variante &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] für die URL-Konfiguration der Mehrsprachigkeit gibt es in der Crawler-Doku 2.0 am Anfang des Tutorial-Abschnitts. Gruß Kanticus ### [#5](https://www.typo3.net/d/71107-indexed-search-und-crawler/5) · log2e · 2008-01-29 Diese ausführliche Diskussion der crawler-Extension war sehr hilfreich für mich. Vielen Dank. Eine Anmerkung und eine Frage: 1. Um den Crawler im CLI-Mode zu starten, musste ich die Zugriffsrechte für die Datei /typo3temp/tx_crawler.proc manuell auf 777 ändern. Das habe ich erst gemerkt, als ich den Cronjob eingerichtet hatte und eine entsprechende Fehlermeldung bekam. 2. Muss ich für den BE-Nutzer "_cli_lowlevel" irgendwelche Berechtigungen konfigurieren? Stefan ### [#6](https://www.typo3.net/d/71107-indexed-search-und-crawler/6) · jonas8 · 2008-01-29 Hallo Stefan Nein, der BE-Nutzer "_cli_lowlevel" braucht keine Berechtigungen er muss einfach nur existieren. Ja, die Datei /typo3temp/tx_crawler.proc muss vom Web-Server beschreibbar sein. Die Information aus tx_crawler.proc wird beim Modul angezeigt: Web - Info - Site Crawler - CLI status Status: end Message: Rows: 0 Counter: 84932 Last seen: 29.01.08 13:16 (1 Min) Last proc. time: 0 seconds Viele Grüsse Jonas ### [#7](https://www.typo3.net/d/71107-indexed-search-und-crawler/7) · sventb · 2008-02-13 Hallo, bei mir funktioniert die Indexierung mit dem Crawler soweit, auch bei tt_news-Datensätzen, ABER: wenn man eine News löscht, bleibt der Text aus der Single-Ansicht der News im Index erhalten. Habe ich falsch konfiguriert (ich hab für die Indexierung von News nur eine “Indexierungseinstellung” in die Seite mit der News-Single-Ansicht gelegt)? Oder soll ich den Suchindex jeden Tag (wie die Tabelle tx_crawler_queue) leeren? Wenn der Cronjob alle 2 Minuten drüber läuft, sollte die Seite ja nach 1 Stunde spätestens wieder komplett indexiert sein!? ### [#8](https://www.typo3.net/d/71107-indexed-search-und-crawler/8) · jonas8 · 2008-02-14 hmm, keine Ahnung, bei mir habe ich das mit den News-Indexierung noch nicht aktiviert. > Habe ich falsch konfiguriert (ich hab für die Indexierung von News nur eine “Indexierungseinstellung” in die Seite mit der News-Single-Ansicht gelegt)? wie hast du denn das genau gemacht? dann versuche ich es auch und kann dir meine Erfahrungen sagen. Gruss Jonas ### [#9](https://www.typo3.net/d/71107-indexed-search-und-crawler/9) · sventb · 2008-02-18 Hi Jonas, nachdem du das News-Plugin erstellt hast, mußt du auf die Seite, auf der die Detail-Ansicht der News angezeigt wird, den Datensatz "Indexierungseinstellungen" anlegen, Typ "Datenbank Datensätze", "News" als "Zu indexierende Tabelle" auswählen, als Quell-Seite die Seite mit den News-Datensätzen auswählen, in Felder kommt "title,subtitle,bodytext" und in GET-Parameter-String "&tx_ttnews[tt_news]=###UID###". Jetzt kannst du die Indexierung drüberlaufen lassen und die News sollten indexiert werden. Aber wenn du eine News löscht und die Indexierung nochmal drüber laufen läßt, ist die Detailansicht der News noch immer im Index. Danke für deine Hilfe. ### [#10](https://www.typo3.net/d/71107-indexed-search-und-crawler/10) · jonas8 · 2008-02-21 Hallo sventb Also ich hatte nun Zeit die Sache zu testen. Bei mir funktioniert es tadellos. Ich habe auf der News-Detailansicht den Datensatz 'Indexierungseinstellungen' hinzugefügt und mit deinen Werten gefüllt. Typ: Datensätze Zu indexierende Tabelle: News Felder (erstes ist Titel): title,subtitle,bodytext GET-Parameter-String (mit ###UID###-Ersetzung): &tx_ttnews[tt_news]=###UID### Dann die Indexierung laufen lassen. Normalerweise macht er das ja nur 'einmal täglich' oder 'stündlich' oder 'wöchentlich' aber wenn man bei Nächste Indexierung ist geplant (wenn leer, dann sofort): ein leeres Feld lässt, macht er es sofort. Dann eine News löschen und nochmals eine Indexierung starten und der Newsbeitrag ist nicht mehr im Index. Wie sieht es bei dir aus? Konntest du das Problem eingrenzen / lösen? Gruss Jonas ### [#11](https://www.typo3.net/d/71107-indexed-search-und-crawler/11) · hoschi78 · 2008-02-22 Hallo, kurz was zu folgendem Punkt bzgl. Debian. > crontab -e > mit i - in den Insert-Modus > * * * * * /pfad/zum/www/typo3/cli_dispatch.phpsh crawler > mit 'ESC' und dann :wq - Speichen und verlassen Im aktuellen Debian ist vi nicht der Standard-Editor für die crontab sondern nano. Wenn man nun also "crontab -e" aufruft, dann ist man direkt im "insert mode". Gespeichert und beendet wird mit "STRG + x" --> Abfrage speichern Ja/Nein. Es wird eine Datei /tmp/xxxxx angezeigt, in die man speichert, das ist ok (Enter). Crontab wird neu initialisiert. Fertig ### [#12](https://www.typo3.net/d/71107-indexed-search-und-crawler/12) · sventb · 2008-02-22 Ich bin noch nicht weiter gekommen. Hast du deine News-Detailansicht auf einer separaten Seite oder auf der Seite, wo auch die News-LIST-Darstellung ist? Ich habe für die Single-Ansicht eine andere Seite, und auf diese wird aus der Suche heraus verlinkt, obwohl die News gelöscht ist. ### [#13](https://www.typo3.net/d/71107-indexed-search-und-crawler/13) · jonas8 · 2008-02-23 Ja, klar, wenn du einen Newsbeitrag löschst ist der Content so lange noch im Cache bis die News neu indexiert werden. Das hat nur indirekt etwas mit dem Cronjob zu tun. Viel mehr mit den Einstellungen bei den 'Indexierungseinstellungen'. Was hast du dort für einen Wert? 'Wie häufig soll eine Reindexierung vorgenommen werden?' - stündlich täglich (24 Stunden) wöchentlich (Ich habe auch zwei Seiten eine für die LIST und eine für SINGLE) Alles klar? Versuchs nochmal und gib Bescheid. Gruss Jonas ### [#14](https://www.typo3.net/d/71107-indexed-search-und-crawler/14) · sventb · 2008-02-25 Ich habe in den Indexierungseinstellungen "täglich" stehen. Aber das ist nicht das Problem, denn ich gehe wie folgt vor: 1) Test-Newsdatensatz anlegen 2) Indexierung manuell starten 3) Suche nach Keyword aus News -> wird gefunden in LIST und SINGLE, super :) 4) Test-Newsdatensatz löschen 5) In Indexierungseinstellungen das Häkchen bei "nächste Indexierung ist geplant (wenn leer, dann sofort)" entfernen -> News werden neu indexiert 6) Indexierung wieder manuell starten 7) Suche nach Keywords aus News -> wird nicht gefunden in LIST, super; aber wird gefunden in SINGLE-Ansicht, schlecht! :( Du siehst, ich indexiere die News neu, doch leider verschwindet das Keyword nicht aus dem Index. ### [#15](https://www.typo3.net/d/71107-indexed-search-und-crawler/15) · jonas8 · 2008-02-25 also was meinst du mit 2) Indexierung manuell starten 6) Indexierung wieder manuell starten Indexierug per FrontEnd, Seitenaufruf ? Bei meiner Testinstallation habe ich 'Disable Indexing in Frontend' aktiviert also FrontEnd Indexierung ausgeschaltet. Warscheinlich ist der Index per FE und der Index per 'Indexierungseinstellungen' nicht der Selbe. Kannst ja mal nach schauen unter 'Web - Info - Indexsuche' was, wann, wie oft indexiert wird. und auf der Seite mit der LIST-Ansicht habe ich 'Nicht suchen:' aktiviert. Damit das nicht Indexiert wird. Macht ja wenig Sinn Gruss Jonas ### [#16](https://www.typo3.net/d/71107-indexed-search-und-crawler/16) · karob · 2008-06-14 hallo, erstmal möchte ich sagen das dies ein sehr hilfreicher thread ist. dann zu meiner frage, die indexierung klappte prinzipiell auch über den cronjob. mein problem ist das dies viel zu langsam von statten geht ungefähr 3 seiten pro minute. wobei ich bei den einstellungen gewagte 1000 pro minute ausgewählt habe. hat jemand eine idee? gruß robert ### [#17](https://www.typo3.net/d/71107-indexed-search-und-crawler/17) · mccoy · 2008-07-02 Hallo Jonas, danke auch für diesen Thread er hat mir auch weitergeholfen. Ich hatte das Problem, dass ich mit der Extension "modern downloads" Dokumente verwalte. Die Indexed Search findet aber diese Dokumente nicht. Wir setzen aber gearde im Intranet sehr auf die Volltextsuche und daher war es notwendig eine Lösung zu finden. Eins vorab: Ich habe mich mit dem Thema erst seit ein paar Stunden beschhäftigt und es kann durchaus sein, dass manche Einstellungen überflüssig sind oder sogar falsch. Aber so läuft es bei mir. ;) Folgende Vorgehensweise: (TYPO3 4.2.1) 1. Wichtige Dokus: Und dieser Thread natürlich ;-) 2. Voraussetzung Indexed Serach ist installiert und läuft: Installieren der Ext Crawler (ganz normal über Erw. Manager/Import), dann beim Erw. Manager in der Indexed Serach Extension den Haken setzen "Use "crawler" extension to index ex..". 3. In Setup der Root Seite folgende TS Code einsetzen: ```typoscript config.index_enable = 1 config.index_externals = 1 ``` (Schaltet die Indexierung ein und auch die von externen Files) 4. Im PageTS folgenden Code hinzufügen: ```typoscript #-----------------------CRAWLER----------------------# tx_crawler.crawlerCfg.paramSets { content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] content.procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler content.baseUrl = http://derPfadzuDeinemProjekt } # crawler für User der Gruppe 1, und ANY ?? tx_crawler.crawlerCfg.paramSets { gruppe1 < tx_crawler.crawlerCfg.paramSets.content gruppe1.userGroups = 1, 0, -2 } ``` Oder wie hier im Thread bereits diskutierte andere Varianten können natürlich auch verwendet werden. 5. In der Benutzerverwaltung einen BE User mit den Namen _cli_crawler anlegen. Diesem ein beliebiges Passwort vergeben und am besten keine weiteren Rechte zuweisen. 6. Eine Seite Typ "Nicht im Menü" erstellen dort das Inhaltselement "Indixierungseinstellungen" anlegen. Dann einen Titel vergeben, den Typ "Dateipfad auf dem Server" auswählen und den Pfad zum dem Ordner indem die Dokumente liegen und indexiert werden sollen, eintragen. Also z.B. "fileadmin/Dateien/Website_Intanet/Abteilungsdokumente/". Evtl. weitere Unterebenen durch das Select Menü "Tiefe" einstellen. 7. Nun muss man einen CronJob auf dem Server einrichten. Bei den Linux Machinen mit z.B. OpenSuse installiert geht das als Root so:(wie bereits beschrieben) crontab -e [Insert Modus wechseln "i"] x x x x /der/Pfad/zu/deinemProjekt/typo3conf/ext/crawler/cli/crawler_cli.phpsh [Insert Modus verlassen "Esc"] Datei mit :w! speichern und mit :q! verlassen (gibt auch eine Kombination von den Befehlen, aber egal...) ( x x x x bedeutet nun, dass der Cron jede Minute läuft. Ich habe auch gelesen, dass es mit den Berechtigungen Probleme geben kann. Also darauf achten, dass die Datei "crawler_cli_phpsh" ausführbar ist. Ansonsten z.B. mit chmod 744 nachhelfen.) 8. Testen ob der Job funktioniert indem man diesen mit der vollen(!!) Pfadangabe aufruft, z.B. so: /der/Pfad/zu/deinemProjekt/typo3conf/ext/crawler/cli/crawler_cli.phpsh (Sollte keine Meldung abgeben, selbst wenn was kommt trotzdem mal ins BE schauen und den nächsten Schritt durchführen.) 9. In BE wechseln und auf das Modul "Web > Info" wechseln. Dann auf unseren neue Seite vom Typ "nicht im Menü" und dort im obersten SelectMenü den Eintrag "SiteCrawler" auswählen. Im darunterliegenden zweiten SelectMenü "CLI Status" auswählen". Nun sollte man in der kleinen Tabelle sehen, dass der Cron läuft und indexiert. Am Counter erkennt man auch wieviele Dateien indexiert wurden. Wechselt man zurück auf "Index Suche" im obersten SelectMenü und im darunterliegenden auf "Technische Details" sollte man die indexierten Files sehen. Nun kann man danach suchen und sollte auch klappen. Sollte es nicht klappen, kann ich das WIKI-Tutorial empfehlen. Dort unter Troubleshooting sind ein paar gute Tipps zu finden. Ansonsten gibt es auch ein paar Mailingliste, die sich mit den Thema beschäftigt haben. (Goolge fragen..) Für Korrekturen und Änderungen bin ich natürlich dankbar. Grüße Andy Edit: Ich hätte da auch noch ein paar Fragen: Ist es wirklich notwendig, wenn man nur externe Files indexieren möchte, dass man den Haken "Disable Indexing in Frontend" im Erweiterungs Manager bei der Extension "Indexed Search" herausnimmt? Stoppt das nicht auch den kompletten Indexierungprozess der Indexed Search im FE? Oder schalte ich das durch das o.g. TypoScript wieder ein? Wenn ja, was hat das für einen Sinn? ### [#18](https://www.typo3.net/d/71107-indexed-search-und-crawler/18) · leave- · 2009-01-28 Hallo alle zusammen, der Tread ist wirklich gut. Bei mir hat es auch kurzzeitig funktioniert ;) Ich habe in einem SYS-Folder die Indexierung erstellt mit den dazugehörigen Einträgen. Nach dem ich einen neuen Artikel eingestellt habe, finde ich diesen Artikel nur mit dem Account vom Reakteur. Alle anderen finden den Artikel nicht. Kann mir da einer weiterhelfen?? Sitze hier schon Stunden dran. Danke ### [#19](https://www.typo3.net/d/71107-indexed-search-und-crawler/19) · jonas8 · 2009-01-28 Hallo Also ist das Problem den News-Beitrag im Backend angezeigt zu bekommen? Habe ich das richtig verstanden? Ist es ein Berechtigunsproblem, dass der Beitrag nicht angezeigt wird? Mit einem Admin-User sieht man normalerweise alle Elemente. Die Indexierungseinstellungen für die News habe ich auf der Seite wo die News-Vollansicht ist. Gruss Jonas ### [#20](https://www.typo3.net/d/71107-indexed-search-und-crawler/20) · leave- · 2009-01-28 Nein ;) Die News werden alle richtig angezeigt, im Backend als auch im Frontend. Für alle. Die Suchmaschine findet allerdings keinen neuen Artikel. Nur wenn man den Artikel mit seinem eigenen Account anlegt. Habe jetzt die Indexierungseinstellung in meinen News-Ordner kopiert, allerdings ihne Erfolg. Wir haben mehrer News-Ordner und auch mehrere Benutzergruppen. Zum testen habe ich diese TYPO-Scrip auf der Main-Page angelegt: #-------------------------------- # Indexed Search (Crawler) #-------------------------------- tx_crawler.crawlerCfg.paramSets { # User in no group language = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] language.procInstrFilter = tx_indexedsearch_reindex language.baseUrl = http:// /intranet/index.php # User in group 1 group1 = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] group1.procInstrFilter = tx_indexedsearch_reindex group1.baseUrl = http: //intranet/index.php group1.userGroups = 1 } #set up a crawl for users that arent logged in tx_crawler.crawlerCfg.paramSets.test = tx_crawler.crawlerCfg.paramSets.test { cHash = 1 procInstrFilter = tx_indexedsearch_reindex, tx_indexedsearch_crawler baseUrl = http:// /intranet/index.php #set up a crawl for users who have group id of 1,4,5 tx_crawler.crawlerCfg.paramSets.grp1 < tx_crawler.crawlerCfg.paramSets.test tx_crawler.crawlerCfg.paramSets.grp1{ userGroups = 0,-2,1,4,5 } #set up a crawl for users who have group id of 3,7,8 tx_crawler.crawlerCfg.paramSets.grp2 < tx_crawler.crawlerCfg.paramSets.test tx_crawler.crawlerCfg.paramSets.grp2{ userGroups = 0,-2,3,7,8 } # Default - Pages #tx_crawler.crawlerCfg.paramSets.std = #tx_crawler.crawlerCfg.paramSets.std { #Angaben was ausgefuehrt werden soll #procInstrFilter = tx_indexedsearch_reindex #baseUrl = http:// /intranet/index.php #} tx_crawler.crawlerCfg.paramSets { language = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] language.procInstrFilter = tx_indexedsearch_reindex, tx_cachemgm_recache language.baseUrl = http:// /intranet/index.php projekte_news = &tx_ttnews[tt_news]=[_TABLE:tt_news;_PID:220] projekte_news.procInstrFilter = tx_indexedsearch_reindex, tx_cachemgm_recache projekte_news.cHash = 1 projekte_news.pidsOnly = 172 projekte_news.baseUrl = http:// intranet/index.php EDV_news= &tx_ttnews[tt_news]=[_TABLE:tt_news;_PID:212] EDV_news.procInstrFilter = tx_indexedsearch_reindex, tx_cachemgm_recache EDV_news.cHash = 1 EDV_news.pidsOnly = 236 EDV_news.baseUrl = http:// /intranet/index.php Ist was viel oder??? :) Habe die Seite unter Web->Info-> SiteCrawler ; alle indexiert, allerdings können die News-Ordner nicht geöffnet werden. **News Projekte No entries** Muss ich die Indexierung,welche jetzt im News Ordner liegt, auf eine andere **Allternativt Quellseite** legen?? ### [#21](https://www.typo3.net/d/71107-indexed-search-und-crawler/21) · jonas8 · 2009-01-28 Hi Ich komme nicht nach was denn jetzt das Problem ist. Also ich habe bei einem Projekt auf der Startseite bei den Seiteneigenschaften folgendes TSconfig PAGE: ```typoscript # ################################################### # Konfiguration des Crawler für Neu-Indexierung # ################################################### # crawler für nicht angemeldete User tx_crawler.crawlerCfg.paramSets.content = tx_crawler.crawlerCfg.paramSets.content { procInstrFilter = tx_indexedsearch_reindex baseUrl = http://www.fachpresse.com/ } # crawler für User der Gruppe 1 tx_crawler.crawlerCfg.paramSets.gruppe1 < tx_crawler.crawlerCfg.paramSets.content tx_crawler.crawlerCfg.paramSets.gruppe1 { userGroups = 1 } ``` Und für die News habe ich auf der Seite wo das News-Single ist einen Datensatz 'Indexierungseinstellungen' Zeitversatz nach Mitternacht: 1:30 Wie häufig soll eine Reindexierung vorgenommen werden?: täglich (24 Stunden) Typ: Datensätze Zu indexierende Tabelle: Nachrichten (oder jezt heisst es wohl wieder News) Felder (erstes ist Titel): title,short,bodytext GET-Parameter-String (mit ###UID###-Ersetzung): &tx_ttnews[tt_news]=###UID### So das wärs, Gruss Jonas ### [#22](https://www.typo3.net/d/71107-indexed-search-und-crawler/22) · leave- · 2009-01-29 Genauso habe ich das jetzt eingestellt. Kann es sein das ich durch meine 10 User-Gruppen Probleme bekomme?? Oder durch meine 10 News Ordner?? ### [#23](https://www.typo3.net/d/71107-indexed-search-und-crawler/23) · jonas8 · 2009-01-29 Hi Und funktioniert es jetzt besser? Ja, das kann schon Probleme machen, mit soviel Gruppen. Einfach ausprobieren und testen. Hatte es bis jetzt nur mit einer Gruppe zu tun. Mit so viel News Ordner habe ich das noch nie gemacht. Sind es denn auch viele News? Eventuell könnte man mehrere Einzalansichten machen und die Indexierungseinstellungen auf diese Einzelansichten verteilen. Gruss Jonas ### [#24](https://www.typo3.net/d/71107-indexed-search-und-crawler/24) · leave- · 2009-01-29 Vielen Dank. Er Indexiert jetzt alles. Es sind viele News und die einzelen Fachbreiche sollen auch nur für Ihren Bereich Zugriffsrechte bekommen. Komisch ist allerdings, dass ich bei der Indexierung nur auf den News-Ordner EDV verwiesen habe, allerdings wird der Artikel in der Finanzabteilung, welchen ich gerade angelegt habe, auch angezeigt. Also braucht man anscheinend nur ein Mal eine Indexierung für alle Ordner vorzunehmen. Ich werde es aber noch mal testen und berichten. Ein Problem habe ich noch mit dem Löschen alter Artikel. Die Suchmschine findet News die es schon seit 2-3 Wochen nicht mehr gibt?? Das Problem scheint ja nicht neu zu sein. Eine Idee? Gruß Thomas ### [#25](https://www.typo3.net/d/71107-indexed-search-und-crawler/25) · jonas8 · 2009-01-29 Hmm Ich würde mal den Index komplett löschen und neu indexieren lassen. Und danach die Sache beobachten, die nächsten zwei drei Tage rein schauen. Indexierung löschen per: 'Info' 'Startseite' 'Indexsuche' oder per phpmyadmin die Tabellen index_ ... leeren. (nicht löschen) Zwischendurch auch den Crawler-Cache löschen, z.B. per Backend 'Info' 'Site Crawler' 'Crawler log' 'Flush entries' oder per phpmyadmin die Tabelle tx_crawler_queue leeren. (nicht löschen) Hier ist ein guter Beitrag zu 'TYPO3 Entrümpeln' Gruss Jonas ### [#26](https://www.typo3.net/d/71107-indexed-search-und-crawler/26) · leave- · 2009-03-10 Hallo jonas8, leider war ich länger krank. Die Suchmschine funktioniert, ich habe letzlich bei allen Rubriken eine Index angelegt. Leider werden bei der Suche die gleichen Artikel mehrmals angezeigt. Hast Du eine Idee warum? Löschen kann ich die alten Einträge nur manuel. Der Cronjob geht leider nicht: *Crawler-extension und zugehörige DB Tabelle (tx_crawler_queue) ebenfalls leeren. Ich mach das alles mit einem kleinen Cronjob: #! /bin/sh # # loescht die cache & index tabellen # declaring the constants PATH=/bin:/sbin:/usr/bin:/usr/sbin MYSQL_USER=”DB_USERXX” MYSQL_USER_PASSWORD=”XXX” MYSQL_DATABASE=”typo3″ SCRIPT_NAME=”mysql_cache_index_leeren_cmds” mysql –user=$MYSQL_USER –password=$MYSQL_USER_PASSWORD –database=$MYSQL_DATABASE –force < /mnt/hdd2/scripts/$SCRIPT_NAME; // Script mysql_cache_index_leeren_cmds // leert mit TRUNCATE die entsprechenden Tabellen + quit TRUNCATE cache_extensions \G TRUNCATE cache_hash \G TRUNCATE cache_imagesizes \G TRUNCATE cache_md5params \G TRUNCATE cache_pages \G TRUNCATE cache_pagesection \G TRUNCATE cache_typo3temp_log \G TRUNCATE index_fulltext \G TRUNCATE index_grlist \G TRUNCATE index_phash \G TRUNCATE index_rel \G TRUNCATE index_section \G TRUNCATE index_words \G TRUNCATE tx_crawler_queue \G \q* Vielen Dank für die Hilfe ### [#27](https://www.typo3.net/d/71107-indexed-search-und-crawler/27) · jonas8 · 2009-09-09 Hallo Leave- Wie läuft es? Ist mit deiner indexed_serch alles okay? Habe mal wieder daran rumgeschraubt und jetzt auch das Skript zum Löschen der Caches ausprobiert. Nach langem rummachen funktioniert es nun. Wie steht es bei dir? Gruss Jonas ### [#28](https://www.typo3.net/d/71107-indexed-search-und-crawler/28) · Wool · 2009-10-21 Hallo Leute, ich hab auch lange über den Gruppen-Richtlinien gebrütet und mir immer gedacht, das is doch umständlich, und bei nicht vorkommenden Kombinationen völlig sinnlos. Mit folgendem PHP-Skript werden die Gruppen und Gruppen-Kombinationen aus der fe_groups- und fe_users-Tabelle ausgelesen und die Konfigurationen in das TSconfig-Feld der root-Seite eingefügt. (D.h. nur Kombinationen die auch bestehen werden verarbeitet.) **!!! das Feld wird mit dieser Methode überschrieben !!!** (diverse Änderungen an IDs sind evtl. natürlich noch nötig) ;-) ```php # Datenbankverbindung ---------------------------------- list($dbserver,$dbuser,$dbpass,$dbname) = array('localhost','user','password','dbname'); if (!$dbh = mysql_connect($dbserver,$dbuser,$dbpass)) { die ("Schwerer Fehler!\nVerbindung zum Datenbank-Server fehlgeschlagen.\nMySQL: ".mysql_errno()." - ".mysql_error()."\n"); } if (!mysql_select_db($dbname,$dbh)) { die ("Schwerer Fehler!\nKann Datenbank nicht öffnen.\nMySQL: ".mysql_errno()." - ".mysql_error()."\n"); } # Werteermittlung ---------------------------------- $upd_val = "# !!!! Dieses Feld wird automatisch ueberschrieben !!!!"; $upd_val .= "\ntx_crawler.crawlerCfg.paramSets {"; $upd_val .= "\n content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid]"; $upd_val .= "\n content.procInstrFilter = tx_indexedsearch_reindex, tx_cachemgm_recache, tx_indexedsearch_crawler"; $upd_val .= "\n content.baseUrl = http://address/"; # News ---------------------------------- $upd_val .= "\n\n ttnews = &tx_ttnews[tt_news]=[_TABLE:tt_news;_PID:45]"; $upd_val .= "\n ttnews.procInstrFilter = tx_indexedsearch_reindex, tx_cachemgm_recache"; $upd_val .= "\n ttnews.pidsOnly = 37"; $upd_val .= "\n ttnews.cHash = 1"; $upd_val .= "\n ttnews.baseUrl = http://address/"; $upd_val .= "\n}"; $upd_val .= "\n# Einzelgruppen"; $done = array(); $Q = "SELECT uid FROM fe_groups WHERE deleted=0 "; if(!$R = mysql_query($Q,$dbh)) { die("MySQL: ".mysql_errno()." - ".mysql_error()."\n".$Q."\nErr: SELECT Einzelgruppen - Crawler\n"); } else { if(mysql_num_rows($R) > 0) { while(list($uid) = mysql_fetch_row($R)) { $upd_val .= "\ntx_crawler.crawlerCfg.paramSets.grp".$uid." < tx_crawler.crawlerCfg.paramSets.content"; $upd_val .= "\ntx_crawler.crawlerCfg.paramSets.grp".$uid.".userGroups = ".$uid; $done[] = $uid; } } else { $upd_val .= "\n# ! FEHLER ! Keine Einzelgruppe gefunden !"; } mysql_free_result($R); } $upd_val .= "\n# Multigruppen"; $Q = "SELECT DISTINCT usergroup FROM fe_users WHERE deleted=0 "; if(!$R = mysql_query($Q,$dbh)) { die("MySQL: ".mysql_errno()." - ".mysql_error()."\n".$Q."\nErr: SELECT Multigruppen - Crawler\n"); } else { if(mysql_num_rows($R) > 0) { while(list($grps) = mysql_fetch_row($R)) { $wert = ''; $gr = array(); $gr = explode(',',$grps); if(sizeof($gr) > 0 && $gr[0] > 0) { sort($gr); $wert = '0,-2,'.implode(',',$gr); if(!in_array($wert,$done)) { $upd_val .= "\ntx_crawler.crawlerCfg.paramSets.multi".str_replace(',','',$wert)." < tx_crawler.crawlerCfg.paramSets.content"; $upd_val .= "\ntx_crawler.crawlerCfg.paramSets.multi".str_replace(',','',$wert).".userGroups = ".$wert; $done[] = $wert; } } } } else { $upd_val .= "\n# Keine Multigruppe gefunden !"; } mysql_free_result($R); } $upd_val .= "\n"; $U = "UPDATE pages SET TSconfig='$upd_val' WHERE uid=1 "; if(!$uR = mysql_query($U,$dbh)) { die("MySQL: ".mysql_errno()." - ".mysql_error()."\n".$U."\nErr: UPDATE Gruppenregeln - Crawler\n"); } exit; ``` Dieses Skript in eine PHP-Datei und per crontab ausführen und man braucht sich um die Crawler-Config nichtmehr kümmern. Hoffe das hilft jemandem... ### [#29](https://www.typo3.net/d/71107-indexed-search-und-crawler/29) · Wool · 2009-10-30 Hallo nochmal, so... nu hab ich mich lange genug rumgeärgert... Indexierung und Caching läuft per Crawler (nach Eurer Beschreibung mit der "Indexing configuration") findet er mir auch die News und die fe_user. (Database records) Probleme hab ich nur mit den Seiteninhalten ! (Page tree) Egal mit welcher Benutzergruppe/-nkombination ich angemeldet bin, die Suche gibt mir immer "No Result found" aus. Erstelle ich eine "Indexing configuration" für "Database records" und gebe die Tabelle "Seiteninhalt" (also: tt_content) an dann findet man über die Indexed_search auch die entsprechenden Einträge der Seite. Nu isses aber ein wenig umständlich, wenn man für jede Seite eine Index-Config erstellen soll... Hat da evtl. jemand nen Tipp? Ach ja... folgende Fehlermeldung gibt die Cron bei der "Page tree"-Config aus: (anscheinend der Grund für mein Problem?) > Cron-Fehler: > PHP Warning: Missing argument 2 for tx_crawler_lib::getUrlsForPageRow(), called in .../typo3_src-4.2.8/typo3/sysext/indexed_search/class.crawler.php on line 466 and defined in .../typo3conf/ext/crawler/class.tx_crawler_lib.php on line 233 Kann mir da einer helfen? :'( ### [#30](https://www.typo3.net/d/71107-indexed-search-und-crawler/30) · arag0rn2k7 · 2009-10-30 [​quote="Wool"] Ach ja... folgende Fehlermeldung gibt die Cron bei der "Page tree"-Config aus: (anscheinend der Grund für mein Problem?) > Cron-Fehler: > PHP Warning: Missing argument 2 for tx_crawler_lib::getUrlsForPageRow(), called in .../typo3_src-4.2.8/typo3/sysext/indexed_search/class.crawler.php on line 466 and defined in .../typo3conf/ext/crawler/class.tx_crawler_lib.php on line 233 Hallo Wool, das ist ein Bug im Crawler 3.0: Hier das Fix: Geh in die class.tx_crawler_lib.php line 233 und ändere ```php function getUrlsForPageRow(array $pageRow, &$skipMessage) ``` in ```php function getUrlsForPageRow(array $pageRow, &$skipMessage = '') ``` ### [#31](https://www.typo3.net/d/71107-indexed-search-und-crawler/31) · arag0rn2k7 · 2009-10-30 Ich habe ein anderes Problem. Bei mir berücksichtigt der Crawler nicht die fe_group der einzelnen tt_news -> somit sind die gesamten privaten news über die Suche für nicht eingeloggt User zu finden! Es scheint mir, als werden nur die Benutzergruppen der Listen-Ansicht-Seite(in dem Falle öffentlich) kontrolliert aber nicht jeder einzelnen News :( Woran kann das liegen? ### [#32](https://www.typo3.net/d/71107-indexed-search-und-crawler/32) · jonas8 · 2009-10-30 Hallo Wool > Nu isses aber ein wenig umständlich, wenn man für jede Seite eine Index-Config erstellen soll... Hast du die TSconfig zum crawler bei den Seiteneigenschaften der root Seite? Gruss Jonas ### [#33](https://www.typo3.net/d/71107-indexed-search-und-crawler/33) · Wool · 2009-11-02 > **arag0rn2k7 schrieb:** > > Hallo Wool, > das ist ein Bug im Crawler 3.0: > > Hier das Fix: Geh in die class.tx_crawler_lib.php line 233 und ändere > > ```php > function getUrlsForPageRow(array $pageRow, &$skipMessage) > ``` > > in > > ```php > function getUrlsForPageRow(array $pageRow, &$skipMessage = '') > ``` Danke, die Fehlermeldung wird nun nichtmehr ausgegeben :) Leider finddet er trotzdem nix... > **jonas8 schrieb:** > > Hast du die TSconfig zum crawler bei den Seiteneigenschaften der root Seite? natürlich... ```typoscript tx_crawler.crawlerCfg.paramSets { content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] content.procInstrFilter = tx_cachemgm_recache, tx_indexedsearch_reindex, tx_indexedsearch_crawler content.baseUrl = http://meinetestdomain/folder/ ttnews = &tx_ttnews[tt_news]=[_TABLE:tt_news;_PID:45] ttnews.procInstrFilter = tx_cachemgm_recache,tx_indexedsearch_reindex ttnews.pidsOnly = 37 ttnews.cHash = 1 ttnews.baseUrl = http://meinetestdomain/folder/ } # Einzelgruppen tx_crawler.crawlerCfg.paramSets.grp1 < tx_crawler.crawlerCfg.paramSets.content tx_crawler.crawlerCfg.paramSets.grp1.userGroups = 0,-2,1 tx_crawler.crawlerCfg.paramSets.grp2 < tx_crawler.crawlerCfg.paramSets.content tx_crawler.crawlerCfg.paramSets.grp2.userGroups = 0,-2,2 tx_crawler.crawlerCfg.paramSets.grp3 < tx_crawler.crawlerCfg.paramSets.content tx_crawler.crawlerCfg.paramSets.grp3.userGroups = 0,-2,3 tx_crawler.crawlerCfg.paramSets.grp4 < tx_crawler.crawlerCfg.paramSets.content tx_crawler.crawlerCfg.paramSets.grp4.userGroups = 0,-2,4 tx_crawler.crawlerCfg.paramSets.grp5 < tx_crawler.crawlerCfg.paramSets.content tx_crawler.crawlerCfg.paramSets.grp5.userGroups = 0,-2,5 # Multigruppen tx_crawler.crawlerCfg.paramSets.multi123 < tx_crawler.crawlerCfg.paramSets.content tx_crawler.crawlerCfg.paramSets.multi123.userGroups = 0,-2,1,2,3 tx_crawler.crawlerCfg.paramSets.multi15 < tx_crawler.crawlerCfg.paramSets.content tx_crawler.crawlerCfg.paramSets.multi15.userGroups = 0,-2,1,5 ``` ### [#34](https://www.typo3.net/d/71107-indexed-search-und-crawler/34) · jonas8 · 2009-11-02 versuche es zuerst ohne gruppen und ohne news. funktioniert es dann? ```typoscript tx_crawler.crawlerCfg.paramSets { content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] content.procInstrFilter = tx_indexedsearch_reindex content.baseUrl = http://www.domain.ch/ } ``` ist die site mehrsprachig? wenn nicht genügt auch ein: ```typoscript tx_crawler.crawlerCfg.paramSets { content = content.procInstrFilter = tx_indexedsearch_reindex content.baseUrl = http://www.domain.ch/ } ``` ### [#35](https://www.typo3.net/d/71107-indexed-search-und-crawler/35) · Wool · 2009-11-02 Hallo, leider kann ich es nicht ohne Gruppen machen, da es sich um eine Seite handelt, die nur per Login erreichbar ist. Und ja, sie ist mehrsprachig, sonst bräuchte ich das L ja nicht ;) Ich hab es auch schon mal mit er *Crawler-Configuration* versucht, aber da kann ich leider keine fe_groups auswählen (sondern nur BE_groups)... So langsam überleg ich mir ein Skript zu basteln, dass mir die *Indexing-Configurations - Database records - Page-content* für die einzelnen Seiten automatisch einfügt, da es ja mit jenen funktioniert... Ich verzweifel so langsam... ### [#36](https://www.typo3.net/d/71107-indexed-search-und-crawler/36) · Wool · 2009-11-02 Upsa... fast übersehen: > **arag0rn2k7 schrieb:** > > Ich habe ein anderes Problem. Bei mir berücksichtigt der Crawler nicht die fe_group der einzelnen tt_news -> somit sind die gesamten privaten news über die Suche für nicht eingeloggt User zu finden! > Es scheint mir, als werden nur die Benutzergruppen der Listen-Ansicht-Seite(in dem Falle öffentlich) kontrolliert aber nicht jeder einzelnen News :( > > Woran kann das liegen? Hast du schonmal probiert die Gruppen den News-Regeln mitzugeben, analog dem normalen Conten-Regeln? ### [#37](https://www.typo3.net/d/71107-indexed-search-und-crawler/37) · jonas8 · 2009-11-02 > So langsam überleg ich mir ein Skript zu basteln, dass mir die Indexing-Configurations - Database records - Page-content für die einzelnen Seiten automatisch einfügt, da es ja mit jenen funktioniert... > Ich verzweifel so langsam... Ist natürlich auch eine Möglichkeit. Versuche es mal damit: ```typoscript tx_crawler.crawlerCfg.paramSets { content = &L=[|_TABLE:pages_language_overlay;_FIELD:sys_language_uid] content.procInstrFilter = tx_indexedsearch_reindex content.baseUrl = http://www.domain.ch/ # crawler für User der FE-Gruppe 1 gruppe1 < tx_crawler.crawlerCfg.paramSets.content gruppe1.userGroups = 1 } ``` So läufts bei mir mit einer Gruppe ### [#38](https://www.typo3.net/d/71107-indexed-search-und-crawler/38) · Wool · 2009-11-02 Hallo jonas8, ich probier es grad mit Deiner Beschreibung, jedoch denke ich, dass das auch nix bringt, da es sich nur um eine andere Schreibweise handelt. (er crawlt mir grad die Seite, also mal sehen...) Im übrigen sieht so die Zeile für die Queue in meiner *crontab* aus, vielleicht liegt da der Fehler: > /usr/bin/php5 -f /Pfad/typo3/cli_dispatch.phpsh crawler_im 3 -d 99 -n 1000 -o queue -conf content,ttnews,verschiedene_gruppen ACHTUNG: Crawler-Version: 3.0.0... Das lustige ist, dass er mir alles crawlt ,cached und indexiert, aber keine results bei der Suche ausgibt... (Ausnahme: News und fe_user, da hierfür die Index-Config für DB-records angegeben wurde, scheinbar hat die Index-Config "page tree" keine Auswirkungen auf die Suchergebnisse !!! ) Meine Seite zeigt einen Login (wenn nicht angemeldet) und die Home- und Unterseiten (wenn angemeldet)... HEUL ! [EDIT:] ja... wie gedacht... selbes Ergebnis... :'( ### [#39](https://www.typo3.net/d/71107-indexed-search-und-crawler/39) · mrgaribaldi · 2010-02-10 > **sventb schrieb:** > > Hi Jonas, > > nachdem du das News-Plugin erstellt hast, mußt du auf die Seite, auf der die Detail-Ansicht der News angezeigt wird, den Datensatz "Indexierungseinstellungen" anlegen, Typ "Datenbank Datensätze", "News" als "Zu indexierende Tabelle" auswählen, als Quell-Seite die Seite mit den News-Datensätzen auswählen, in Felder kommt "title,subtitle,bodytext" und in GET-Parameter-String "&tx_ttnews[tt_news]=###UID###". > > Jetzt kannst du die Indexierung drüberlaufen lassen und die News sollten indexiert werden. Aber wenn du eine News löscht und die Indexierung nochmal drüber laufen läßt, ist die Detailansicht der News noch immer im Index. > > Danke für deine Hilfe. Hi, die Beiträge hier haben mir sehr geholfen. Jedoch habe ich bei der Indexierung der News (tt_news) noch das Problem, das keine Dateianhänge (PDF etc.) indexiert werden. Also generell klappt das indexieren von Dateianhängen richtig, nur bei den News nicht. Hat jemand einen Tipp? --- Quelle: „indexed_search und crawler“, typo3.net, https://www.typo3.net/d/71107-indexed-search-und-crawler Beiträge von Mitgliedern des Forums. Bitte mit Link auf die Diskussion zitieren.