Zum Inhalt springen

Index für Indexsuche erstellen

Erstellt am 22. Januar 2003 · 98 Antworten · letzte Antwort am 27. August 2004 · Seite 5 von 5

Tags: Suche, Frage, TYPO3 3

Junior ·

Danke escaped!

Ok, aber meine Indexed Search läuft. Ich kann bereits darüber suchen und Seiten werden auch ausgegeben... Das ist jetzt merkwürdig. Nachdem ich die cache_all installiert hatte sagte er mir:

Anzahl gecachter Seiten: 1 Seiten

Nachdem er dann keine weiteren gecacht hatte, habe ich den Cache gelöscht und seitdem cacht er (bei cache_all) nichts mehr. Aber eben, die Indexed läuft...

Merkwürdig, merkwürdig...

Lieben Gruss

Junior

escapedPrisoner ·

Naja, es ist so, dass der Index nie gelöscht wird. Der Cache aber bei jeder Gelegenheit.

Kann also sein, dass Du noch mit einem Index arbeitest, der vor 300 Jahren mal angelegt worden ist.

Es gibt tausend Gründe warum nicht gecacht wird. Funktioniert Dein admin-frontend-edit (weiß grad nicht wie das Ding heißt) ?

Greetz
Daniel

escapedPrisoner ·

Leut,

ich hab den Algorithmus nochmal überarbeitet.
Hier der Link: #119317

Neu ist:
- Man kann nun detailliert angeben, welche Sprachen wirklich gecacht werden sollen (das Feature ist nur für Ungeduldige interessant)
- Es gibt nun ein Schluss-check: Am Schluss eines jeden Durchlaufs wird gezählt wieviele Wörter tatsächlich im Index für indexed_search liegen!

Da sich der ursprüngliche Autor nicht meldet könnte ich den neuen Code mal richtig ins ExtensionRepository hineinladen.

Frage: Wäre "create_searchindex" ein passender Name dafür ?? 😃

Greetzz
Daniel

sw-student ·

Der Autor scheint doch noch aktiv zu sein. Den Quellcode der index.php hat er ein bisschen "aufgelockert". Der zu ersetzende Part befindet sich jetzt von Zeile 343 bis 367!

20250 words are in the index for indexed_search (it works !) ++ 86 pages are NOT cached yet.
Was heißt das denn jetzt? Wieso werden die Seiten nach mehrmaligem Ausführen immer noch nicht gecached? Mein Typo is übrigens mittlerweile auf ner Linux Kiste am Laufen.

escapedPrisoner ·

> Der Autor scheint doch noch aktiv zu sein. Den Quellcode der index.php hat er ein bisschen "aufgelockert".

Na, dann schreib ich nochmal hin. Vielleicht meldet er sich nun mal.

> Der zu ersetzende Part befindet sich jetzt von Zeile 343 bis 367!
Thanx! Prima infos, hab ich in das Update-Codestück hier im Thread gleich mal korrigiert.

20250 words are in the index for indexed_search (it works !) ++ 86 pages are NOT cached yet.

Na ist ja ne ganze Menge. Schreib mal Deinen Link her. Bei der www.spielwarenmesse.de sinds gerade mal 5500 Wörter.

Wieviele Seiten hast Du denn insgesamt - und auf wievielen Seiten hast Du was spezielles (also tt_news, tt_poll und sowas) ?

> Mein Typo is übrigens mittlerweile auf ner Linux Kiste am Laufen.
Yeah !!!Linux 4 ever!!

Greetz
Daniel

sw-student ·

> Na ist ja ne ganze Menge. Schreib mal Deinen Link her. Bei der www.spielwarenmesse.de sinds gerade mal 5500 Wörter.
Link geht net - Intranet. 99% der Wörter stehen in den 600 Pdf's & Doc's ;-)

>Wieviele Seiten hast Du denn insgesamt - und auf wievielen Seiten hast Du was spezielles (also tt_news, tt_poll und sowas) ?
86 Seiten insgesamt, bisher nur auf einer das News Modul.

Versteh nur nicht, wieso die Seiten nicht gecached werden. Ist doch der Sinn der Extension? Wie war das nochmals mit der Pfadangabe, muss ich die irgendwo angeben, wenn ja, wo? Hab schonmal versucht:

$curl = '/usr/bin/curl -o tempCURL_L'.$i.'.html -d "id='.$row[uid] .'&L='.$i.'"' .' '.$site.'index.php';

dj.​picasso ·

Hi Knacki, 😃

escapedPrisoner schrieb
20250 words are in the index for indexed_search (it works !) ++ 86 pages are NOT cached yet.

Na ist ja ne ganze Menge. Schreib mal Deinen Link her.

Ich würde sagen das mit den 20.000 Wörtern hält sich noch in Grenzen. Ist ja klar, dass die Zahl am Anfang sehr stark ansteigt, aber dann nätürlich - je größer die Site - nur noch minimal wächst. Wie war das noch mit dem: lim (word) für page -> unendlich? #giggle#

Das hängt natürlich auch damit stark zusammen, welche Themenbereiche bzw. vor allem Fachbereich Du behandelst, da ja innerhalb eines "Themas" auch die Anzahl der Wörter und Fachwörter beschränkt sind.

Daten aus den Indizees einer meiner Sites:
Sprachen: 2 (deutsch und englisch)
Seiten: ca. 10.000 (one-tree-multilanguage), jedoch sind noch nicht alle gecached, da ich kürzlich den Index komplett gelöscht habe.
Hier mal eine Kopie der RECORDS:

index_phash:     8598 
index_words:     22351 
index_rel:       1381670 
index_grlist:    8601 
index_section:   8599 
index_fulltext:  8598 

index_phash TYPES
Typo3 page (0):     8598/8598

Dafür wächst aber die index_rel ganz gut an, da solltest Du mal schauen. Vor meinem letzten Löschen hatte die index_rel über 2,5 Mio Einträge.
... und auf der Site sind unterschiedliche EXT im Einsatz: Poll, Linklist, Tipps, Top Content, Technical Data (Eigenentwicklung), News, Guestbook, Rotating Content (um einiges erweitert), Keyword menus (Exessiv, geiles Tool), Newsletter (noch nicht freigeschaltet), und noch einige mehr.

Hat jemand eigentlich mal die Index-Search Statistik erweitert, so dass sie anzeigt, nach was die Leute auf Euren Seiten eigentlich suchen? Das ist doch gerade das WICHTIGE!
Ich habe derzeit nur eine einfache Variante erstellt. Ist zwar nicht so berauschend aber zumindest erhält man die wichtigsten Informationen. Vielleicht hat ja jemand eine bessere Alternative?

Vor allem da die normale Statistik nur für kleine Sites gemacht ist. Manche Indexierungs-Menus aufzurufen ist bei umfangreichen Sites nahe am Todesstoss des Servers!!! (Auch unter LINUX)

Ciao
Der DJ

escapedPrisoner ·

Aha! Du hast also 86 Seiten insgesamt und 86 Seiten sind noch nicht im Cache.

Na, da wird ja der Hund in der Pfanne verrückt. Du hast also Unmassen von PDFs im Kasten aber keine einzige Typo3Seite !!!! So schauts aus!

Na und ich dachte, das Wörter-Zählen ist DER Test aller Tests. Also setze ich die nächsten Tage noch einen check hinzu ob überhaupt eine Seite im Cache gelandet ist.

Kann man per PHP irgendwie prüfen ob indexing überhaupt auf 1 gesetzt ist??

---

> $curl = '/usr/bin/curl -o tempCURL_L'.$i.'.html -d "id='.$row

Nee, lass das mal. Wenns mit wget bei Dir nicht läuft, dann auch nicht mit curl!! Also erstmal den Modus aus. (auf 0 stellen).

Schau Dir mal die Seiten mit dem admin-Tool an. Die Seiten sind nämlich alle auf no_cache gestellt !!! Sonst würden sie ja im cache landen. Oder Du hast die Typosearch-Marker vergessen.

Sowas. Schäm Dich 😃

---

Tja hab mir die Original-Extension nochmal angeschaut. Hat sich nix verändert. Also dann doch "create_searchindex". Dann weiß man wenigstens was das eigentliche Ziel der EXT ist.

---

@DJ Picasso: Ich bin KEIN Knacki! Sondern ESCAPEDprisoner ;-)
Bei Dir hätte mich auch ein Link interssiert. Ich denke Du baust recht ordentliche Sachen.

Greetz
Daniel

sw-student ·

>Schau Dir mal die Seiten mit dem admin-Tool an. Die Seiten sind nämlich alle auf no_cache gestellt !!! Sonst würden sie ja im cache landen. Oder Du hast die Typosearch-Marker vergessen.

no_cache=0! Sonst würde er ja wohl kaum manuell gecachde Seiten anzeigen. Es is ja auch so, wenn ich den cache zuvor net leere, wird eben die entsprechende Anzahl, der im Cache liegenden Seiten in deiner Extension ausgegeben. Dazu kommen eben keine mehr. Hab die Typosearch Marker nur um ###CONTENT### - schlimm?

escapedPrisoner ·

Schau mal in dieser Liste nach, ob Du irgendwas vergessen hast:

Was ich eingestellt habe:
- config.index_enable = 1 (im SETUP-Bereich, in rootlevel 0)
- <!--TYPO3SEARCH_begin--> (im DesignTemplate, ist im fertigen Quellcode wirklich VOR den Inhaltstexten enthalten. Auf jeder Seite)
- <!--TYPO3SEARCH_end--> (im DesignTemplate, ist im fertigen Quellcode wirklich NACH den Inhaltstexten enthalten)
- Für indexed_search habe ich als Startingpoint dieselbe Seite angegeben, auf der auch das Plugin eingebunden ist. Also rootlinelevel 0. (wobei das vermutlich wurscht ist auf welchem rootlevel die Extension eingebaut ist)
- Caching ist für alle Seiten aktiv (im Admin-Panel muss für jede nötige Seite "no_cache 0" angezeigt werden)

Was ich getan habe:
- Nach dem Einrichten Cache "typo3conf" und "AllCache" gelöscht
- Um sicherzugehen, dass das Indizieren wirklich klappt habe ich die Datenbank-Tabellen "index_*" geleert. (Nicht gelöscht! Dies sollte man aber wirklich nur machen, wenn man weiß was man da tut!) 
- Im Frontend durch ein paar Seiten geklickt (ist egal ob man im Backend eingeloggt bleibt! Das Gerücht man müsse sich aus dem Backend ausloggen ist Schmarrn.)
- getestet ob indexed_search einen Begriff findet, der NUR auf diesen neu-gechten Seiten auftaucht (!!!)
- nun erst cache_all im wget-Modus benutzen.

Manche Extensions scheinen zwar völlig easy zu sein haben es aber in sich 🙂

Greetz
Daniel

Guido ·

Hi All,

bei mir funzt die indexed search einwandfrei, aber die cacheall-extension würde mir auch weiterhelfen.

Ich habe mir die aktuellste Version auf meinem Typo 3.5 auf einer Linux-Maschine installiert. wget und curl sind vorhanden.

Wenn ich allerdings im Backend das caching aufrufe, schreibt er mir unter der Überschrift "caching wird durchgeführt:" nichts hin und auch bei mehrfachem Aktualisieren werden die zu cachenden Seite nicht weniger.

Ich habe es mit wget und mit curl versucht (über die config geändert).

Hatte jemand ein ähnliches Phänomen und kann mir helfen?

Danke,

Guido

bnai ·

ich fänds cool, wenn diese extension auch htmls cachen würde - ABER nicht nur ein Level, wie bisher... versteht ihr was ich meine? am geilsten wäre, wenn ich die tiefe eingeben könnte...

bnai ·

ich verweise diesbezüglich auch nochmal auf meinen beitrag vom 1. April 2004, um mein anliegen etwas deutlicher zu machen:

#8029

Guido ·

oh oh, bin der Sache etwas näher gekommen:

Die index.php von cacheall durchläuft zwei Schleifen während des Cachens, die äußere Schliefe für jede installierte Domain, die innere Schleife für jede Sprache.

Sprache habe ich eine, nämlich die default-language. Domains sollte ich ja auch eine haben, hat er aber keine?!? Ergo, meine Schleife wird vom Skript nie durchlaufen.

Jetzt läuft unser Intranet auf Typo3-Baisis aber einwandfrei und ich hatte nie Probleme, in der sys_domain keinen Eintrag zu haben.

Habt Ihr eine Idee wo ich das ändern kann? Ich will es nicht händisch eintragen, da das System produktiv ist mit ein paar hundert Anwendern...

Gruß,

Guido

escapedPrisoner ·

Guido, mit dem Domainrecord kannst Du nicht viel falsch machen. Oben trägst Du den URL ein - also www.domainname.de und unten trägst Du nichts ein. Nichts anhaken.

Den Domainrecord legst Du Wurzelknoten vom Seitenbaum - aber nicht in root. Wenn Du mal mehrere Domains betreiben solltest, musst Du den record natürlich in den entsprechenden Baum verschieben.

Ach ja - und Du kannst den record jederzeit auf "inaktiv" schalten. Also DONT PANIK! :p

Viele Grüße
Daniel

Guido ·

Hallo Daniel,

Danke für die beruhigenden Worte #giggle#

Ich tue mich nur gerade etwas schwer die Maske zu finden, in der Du die beschriebenen Infos einträgst. Welchen Datensatz muss ich editieren oder liegt das im Template? Im Kontextmenü vom Root (mit dem Erdball davor) finde ich nur "new" und "view" aber kein edit! Oder gibt es dieses Dialogfeld erst ab 3.6? Ich benutze 3.5....

Irgendwie bin ich gerade blind...

Gruß,

Guido

escapedPrisoner ·

So, Guido ich habs oben schon geändert.

Ganz so weit oben, also in root (page-id 0) wird der Eintrag nicht gemacht, sondern muss der "Wurzel vom Seitenbaum" zugeordnet werden. Im Beispiel also alle Deine Seiten unterhalb von www . domain . de und da den Domain-Record hineinwerfen.

[root]
---[www.domain.de]

Alles roger?

Und stell Deine Sprache auf Deutsch um.

Guido ·

Supergut, jetzt funzt alles. Er cacht wie verrückt und die Anzahl der zu cachenden Seiten reduziert sich brav.

Thanx, Daniel!

Ich bin auch über die gleichbleibend hohe Performance des Frontends während des Cachevorgangs im Backend positiv überrascht.

Noch eine Frage:

Ich habe einen Autor, der auf seiner Seite sehr viele links zu externen Dateien hat die mitgecacht werden sollen. Diese externen Dateien aktualisiert er im zwei-Wochen-Rhythmus.

Kann ich das cacheall so einstellen, dass es nur auf diese bestimmte Seite loslegt?

Gruß,

Guido

escapedPrisoner ·

Na, freut mich dass es nun "flutscht"!!

Wegen der einen Seite - was spricht denn dagegen, die Seite einfach alle zwei Wochen mal im Browser anzuschauen?

Greetz
Daniel