Zum Inhalt springen

Index für Indexsuche erstellen

Erstellt am 22. Januar 2003 · 98 Antworten · letzte Antwort am 27. August 2004 · Seite 5 von 5

Tags: Suche, Frage, TYPO3 3

dj.​picasso ·

Hi Knacki, 😃

escapedPrisoner schrieb
20250 words are in the index for indexed_search (it works !) ++ 86 pages are NOT cached yet.

Na ist ja ne ganze Menge. Schreib mal Deinen Link her.

Ich würde sagen das mit den 20.000 Wörtern hält sich noch in Grenzen. Ist ja klar, dass die Zahl am Anfang sehr stark ansteigt, aber dann nätürlich - je größer die Site - nur noch minimal wächst. Wie war das noch mit dem: lim (word) für page -> unendlich? #giggle#

Das hängt natürlich auch damit stark zusammen, welche Themenbereiche bzw. vor allem Fachbereich Du behandelst, da ja innerhalb eines "Themas" auch die Anzahl der Wörter und Fachwörter beschränkt sind.

Daten aus den Indizees einer meiner Sites:
Sprachen: 2 (deutsch und englisch)
Seiten: ca. 10.000 (one-tree-multilanguage), jedoch sind noch nicht alle gecached, da ich kürzlich den Index komplett gelöscht habe.
Hier mal eine Kopie der RECORDS:

index_phash:     8598 
index_words:     22351 
index_rel:       1381670 
index_grlist:    8601 
index_section:   8599 
index_fulltext:  8598 

index_phash TYPES
Typo3 page (0):     8598/8598

Dafür wächst aber die index_rel ganz gut an, da solltest Du mal schauen. Vor meinem letzten Löschen hatte die index_rel über 2,5 Mio Einträge.
... und auf der Site sind unterschiedliche EXT im Einsatz: Poll, Linklist, Tipps, Top Content, Technical Data (Eigenentwicklung), News, Guestbook, Rotating Content (um einiges erweitert), Keyword menus (Exessiv, geiles Tool), Newsletter (noch nicht freigeschaltet), und noch einige mehr.

Hat jemand eigentlich mal die Index-Search Statistik erweitert, so dass sie anzeigt, nach was die Leute auf Euren Seiten eigentlich suchen? Das ist doch gerade das WICHTIGE!
Ich habe derzeit nur eine einfache Variante erstellt. Ist zwar nicht so berauschend aber zumindest erhält man die wichtigsten Informationen. Vielleicht hat ja jemand eine bessere Alternative?

Vor allem da die normale Statistik nur für kleine Sites gemacht ist. Manche Indexierungs-Menus aufzurufen ist bei umfangreichen Sites nahe am Todesstoss des Servers!!! (Auch unter LINUX)

Ciao
Der DJ

escapedPrisoner ·

Aha! Du hast also 86 Seiten insgesamt und 86 Seiten sind noch nicht im Cache.

Na, da wird ja der Hund in der Pfanne verrückt. Du hast also Unmassen von PDFs im Kasten aber keine einzige Typo3Seite !!!! So schauts aus!

Na und ich dachte, das Wörter-Zählen ist DER Test aller Tests. Also setze ich die nächsten Tage noch einen check hinzu ob überhaupt eine Seite im Cache gelandet ist.

Kann man per PHP irgendwie prüfen ob indexing überhaupt auf 1 gesetzt ist??

---

> $curl = '/usr/bin/curl -o tempCURL_L'.$i.'.html -d "id='.$row

Nee, lass das mal. Wenns mit wget bei Dir nicht läuft, dann auch nicht mit curl!! Also erstmal den Modus aus. (auf 0 stellen).

Schau Dir mal die Seiten mit dem admin-Tool an. Die Seiten sind nämlich alle auf no_cache gestellt !!! Sonst würden sie ja im cache landen. Oder Du hast die Typosearch-Marker vergessen.

Sowas. Schäm Dich 😃

---

Tja hab mir die Original-Extension nochmal angeschaut. Hat sich nix verändert. Also dann doch "create_searchindex". Dann weiß man wenigstens was das eigentliche Ziel der EXT ist.

---

@DJ Picasso: Ich bin KEIN Knacki! Sondern ESCAPEDprisoner ;-)
Bei Dir hätte mich auch ein Link interssiert. Ich denke Du baust recht ordentliche Sachen.

Greetz
Daniel

sw-student ·

>Schau Dir mal die Seiten mit dem admin-Tool an. Die Seiten sind nämlich alle auf no_cache gestellt !!! Sonst würden sie ja im cache landen. Oder Du hast die Typosearch-Marker vergessen.

no_cache=0! Sonst würde er ja wohl kaum manuell gecachde Seiten anzeigen. Es is ja auch so, wenn ich den cache zuvor net leere, wird eben die entsprechende Anzahl, der im Cache liegenden Seiten in deiner Extension ausgegeben. Dazu kommen eben keine mehr. Hab die Typosearch Marker nur um ###CONTENT### - schlimm?

escapedPrisoner ·

Schau mal in dieser Liste nach, ob Du irgendwas vergessen hast:

Was ich eingestellt habe:
- config.index_enable = 1 (im SETUP-Bereich, in rootlevel 0)
- <!--TYPO3SEARCH_begin--> (im DesignTemplate, ist im fertigen Quellcode wirklich VOR den Inhaltstexten enthalten. Auf jeder Seite)
- <!--TYPO3SEARCH_end--> (im DesignTemplate, ist im fertigen Quellcode wirklich NACH den Inhaltstexten enthalten)
- Für indexed_search habe ich als Startingpoint dieselbe Seite angegeben, auf der auch das Plugin eingebunden ist. Also rootlinelevel 0. (wobei das vermutlich wurscht ist auf welchem rootlevel die Extension eingebaut ist)
- Caching ist für alle Seiten aktiv (im Admin-Panel muss für jede nötige Seite "no_cache 0" angezeigt werden)

Was ich getan habe:
- Nach dem Einrichten Cache "typo3conf" und "AllCache" gelöscht
- Um sicherzugehen, dass das Indizieren wirklich klappt habe ich die Datenbank-Tabellen "index_*" geleert. (Nicht gelöscht! Dies sollte man aber wirklich nur machen, wenn man weiß was man da tut!) 
- Im Frontend durch ein paar Seiten geklickt (ist egal ob man im Backend eingeloggt bleibt! Das Gerücht man müsse sich aus dem Backend ausloggen ist Schmarrn.)
- getestet ob indexed_search einen Begriff findet, der NUR auf diesen neu-gechten Seiten auftaucht (!!!)
- nun erst cache_all im wget-Modus benutzen.

Manche Extensions scheinen zwar völlig easy zu sein haben es aber in sich 🙂

Greetz
Daniel

Guido ·

Hi All,

bei mir funzt die indexed search einwandfrei, aber die cacheall-extension würde mir auch weiterhelfen.

Ich habe mir die aktuellste Version auf meinem Typo 3.5 auf einer Linux-Maschine installiert. wget und curl sind vorhanden.

Wenn ich allerdings im Backend das caching aufrufe, schreibt er mir unter der Überschrift "caching wird durchgeführt:" nichts hin und auch bei mehrfachem Aktualisieren werden die zu cachenden Seite nicht weniger.

Ich habe es mit wget und mit curl versucht (über die config geändert).

Hatte jemand ein ähnliches Phänomen und kann mir helfen?

Danke,

Guido

bnai ·

ich fänds cool, wenn diese extension auch htmls cachen würde - ABER nicht nur ein Level, wie bisher... versteht ihr was ich meine? am geilsten wäre, wenn ich die tiefe eingeben könnte...

bnai ·

ich verweise diesbezüglich auch nochmal auf meinen beitrag vom 1. April 2004, um mein anliegen etwas deutlicher zu machen:

#8029

Guido ·

oh oh, bin der Sache etwas näher gekommen:

Die index.php von cacheall durchläuft zwei Schleifen während des Cachens, die äußere Schliefe für jede installierte Domain, die innere Schleife für jede Sprache.

Sprache habe ich eine, nämlich die default-language. Domains sollte ich ja auch eine haben, hat er aber keine?!? Ergo, meine Schleife wird vom Skript nie durchlaufen.

Jetzt läuft unser Intranet auf Typo3-Baisis aber einwandfrei und ich hatte nie Probleme, in der sys_domain keinen Eintrag zu haben.

Habt Ihr eine Idee wo ich das ändern kann? Ich will es nicht händisch eintragen, da das System produktiv ist mit ein paar hundert Anwendern...

Gruß,

Guido

escapedPrisoner ·

Guido, mit dem Domainrecord kannst Du nicht viel falsch machen. Oben trägst Du den URL ein - also www.domainname.de und unten trägst Du nichts ein. Nichts anhaken.

Den Domainrecord legst Du Wurzelknoten vom Seitenbaum - aber nicht in root. Wenn Du mal mehrere Domains betreiben solltest, musst Du den record natürlich in den entsprechenden Baum verschieben.

Ach ja - und Du kannst den record jederzeit auf "inaktiv" schalten. Also DONT PANIK! :p

Viele Grüße
Daniel

Guido ·

Hallo Daniel,

Danke für die beruhigenden Worte #giggle#

Ich tue mich nur gerade etwas schwer die Maske zu finden, in der Du die beschriebenen Infos einträgst. Welchen Datensatz muss ich editieren oder liegt das im Template? Im Kontextmenü vom Root (mit dem Erdball davor) finde ich nur "new" und "view" aber kein edit! Oder gibt es dieses Dialogfeld erst ab 3.6? Ich benutze 3.5....

Irgendwie bin ich gerade blind...

Gruß,

Guido

escapedPrisoner ·

So, Guido ich habs oben schon geändert.

Ganz so weit oben, also in root (page-id 0) wird der Eintrag nicht gemacht, sondern muss der "Wurzel vom Seitenbaum" zugeordnet werden. Im Beispiel also alle Deine Seiten unterhalb von www . domain . de und da den Domain-Record hineinwerfen.

[root]
---[www.domain.de]

Alles roger?

Und stell Deine Sprache auf Deutsch um.

Guido ·

Supergut, jetzt funzt alles. Er cacht wie verrückt und die Anzahl der zu cachenden Seiten reduziert sich brav.

Thanx, Daniel!

Ich bin auch über die gleichbleibend hohe Performance des Frontends während des Cachevorgangs im Backend positiv überrascht.

Noch eine Frage:

Ich habe einen Autor, der auf seiner Seite sehr viele links zu externen Dateien hat die mitgecacht werden sollen. Diese externen Dateien aktualisiert er im zwei-Wochen-Rhythmus.

Kann ich das cacheall so einstellen, dass es nur auf diese bestimmte Seite loslegt?

Gruß,

Guido

escapedPrisoner ·

Na, freut mich dass es nun "flutscht"!!

Wegen der einen Seite - was spricht denn dagegen, die Seite einfach alle zwei Wochen mal im Browser anzuschauen?

Greetz
Daniel

Guido ·

Stimmt auch wieder, blöde Frage :o

Manchmal sieht man Wald vor lauter Bäumen nicht...

Das Problem an dieser Seite sind die ca. 600 (!)verlinkten Dateien (der Quellcode unserer Applikation). Wir werden wohl eh auf eine externe Suchmaschine umschwenken müssen, da so viele externe Dateien nicht manuell zu verlinken sind (zu viel Aufwand bei Änderungen) und wenn ich die Extension Directory Listing verwende werden sie zwar wunderbar angezeigt aber nicht gecacht und somit auch nicht indiziert.

Oder hast Du eine Ahnung, wie man mit vielen externen Dateien und dem Indexproblem umgehen kann, bzw. kennst Du eine gute Indexmaschine, die nicht gleich die Welt kostet? Wir haben bisher mit dem Indexserver von Microsoft gearbeitet aber der verträgt sich nunmal nicht mit unserem Linuxserver....

Gruß,

Guido

escapedPrisoner ·

Na, wer sachts denn. Nun schauen wir mal, ob sich Microsoft da draußen halten lässt.

Die Extension Directory Listing sollte man umstellen können, dass sie cache-bare Seiten erstellt. Das macht in Eurem Fall Sinn, weil indexed_search dann wunderbar über die Seite laufen kann.

Natürlich muss dann der Cache manuell gelöscht werden, wenn sich ein Link ändert!

Und wie geht das?
* wenn es im Programm-code heißt "$GLOBALS["TSFE"]->set_no_cache();" dann diese Zeile ausdokumentieren
* wenn es im SETUP-Teil im Verzeichnis der Extension heißt "plugin.extensionname = USER_INT" heißt, dann in "USER" ändern

nun sollte die Seite cache-bar sein !! 😃

Zusätzlich wäre möglich: Komfortabel wäre es, auf dieser Seite gleich oben einen Button zu platzieren namens "Seiten-Cache löschen". Das ließe sich mit einer klitzekleinen Extension machen. 😉

Guido ·

Hi Daniel,

Deine durchschnittliche Response-Zeit grenzt ja schon an Rekordniveau...

wenn es im Programm-code heißt "$GLOBALS["TSFE"]->set_no_cache();" dann diese Zeile ausdokumentieren

Diese Zeile war interessanterweise schon auskommentiert...

* wenn es im SETUP-Teil im Verzeichnis der Extension heißt "plugin.extensionname = USER_INT" heißt, dann in "USER" ändern

Das finde ich leider nicht. Ich habe mal ganz platt nach dem Vorkommen von "plugin.extensionname" in den extension-Verzeichnissen der indexed-search und der directory-listing-extension gesucht. Auch im Setup steht das nirgends. Wo trage ich das ein?

Thanx 4 help,

Guido

Guido ·

Hi Daniel,

nichts mehr gehört seither....

Das finde ich leider nicht. Ich habe mal ganz platt nach dem Vorkommen von "plugin.extensionname" in den extension-Verzeichnissen der indexed-search und der directory-listing-extension gesucht. Auch im Setup steht das nirgends. Wo trage ich das ein?

Findest Du kurz die Zeit, Deine Änderungsvorschläge noch näher zu spezifizieren?

Ist eine suuuuperwichtige Funktionalität für uns...

Tausend Dank,

Guido

bnai ·

ich hab ein problem. habe einige php_page_content inhaltselemente. darin ruf ich ne methode (z.b. dlde("datei.pdf")😉 auf, die mir ein link zur entsprechenden datei liefert (z.b. "<a href="datei.pdf">link</a>"). folglich erkennt typo nicht, das es sich um einen hyperlink handelt. es wäre besser, wenn typo den fertig generierten quelltext nach cachbarem durchsuchen würde, und nicht die contentelemente. Hat jemand ne idee?!

outface ·

hallo leute...hab mich mal im thread so umgesehen. hab die indexedsearch so konfiguriert wie ihr. aber bei mir funzt die indexierung einfach nicht! was mach ich falsch?