1,5 Mio Datensätze. Das ist wirklich eine stolze Zahl. Ein Hoch auf MySQL !
Greetzz
Daniel
1,5 Mio Datensätze. Das ist wirklich eine stolze Zahl. Ein Hoch auf MySQL !
Greetzz
Daniel
Mich würde jetzt noch eines interessieren: Leidet die Performance unter den Massen an Relations? Klaro, das Indizieren dauert ein Weilchen, aber schließlich ist es ja einmalig. Meine jetzt mehr später bei der Suche.
geht eigendlich immer noch recht zügig. allerdings braucht der seitenaufbau jetzt länger (also bei allen anderen seiten), obwohl sie schon indiziert sind.
ich schätze mal, daß er überprüfen muss, ob die seite neu indiziert werden muss und dadurch eine verzögerung entsteht. kann sein, daß ich auch einfach mal meinen rechner neustarten muss. werde ich gleich mal machen.
eine kleine schwäche der indexed search ist:
ich habe eine externe Seite als "Externe URL" eingebunden. Der Verweis ist sowohl im Menü als auch als Sitemap auf einer Seite. Es wird auf einen HTML-Frameset verwiesen. Nun indiziert er nicht die eigendliche Seite, sondern nur den Frameset, was ja falsch ist.
Als workaround hab ich einfach die Links ohne Text der eigendlichen HTML eingebunden.
Das Resultat nun ist, daß er die Seite indiziert. Wenn ich jedoch die Seite über ein Suchergebnis aufrufe, zeigt er natürlich auch nur die HTML-Seite, ohne Frames (also nicht im Frameset), was ja konsequenterweise (für Typo3) auch richtig ist. Perfekt wäre es aber nur, wenn er den Frameset aufrufen würde.
Also meiner Meinung nach müsste er, wenn es sich in der HTML um einen Frameset handelt, alle Seiten indizieren, die dort aufgerufen werden. Leider ist dies technisch wohl etwas aufwendig.
Wie macht ihr das denn mit "Externen URLs"? Kennt jmd eine bessere "Lösung" als meine?
Hi Ihr,
> Leidet die Performance unter den Massen an Relations?
> allerdings braucht der seitenaufbau jetzt länger (also bei allen anderen seiten), obwohl sie schon indiziert sind
> schwäche der indexed search : HTML-Frameset
Tja wegen der Anzahl der Relationen könnte man mal bei Google mit mysql+benchmarks+rows nachschauen. Hab da jetzt keine Zeit für.
Und das mit dem längerem Seitenaufbau kann tatsächlich sein. Dann müsste man die Extension ändern, dass grundsätzlich mal nachgeschaut wird, OB die Seite schon gecached ist - und wenn ja, dann existiert ja auch schon der Index. -- Aber ob da jemand Bock hat den Code unter die Lupe zu nehmen bezweifle ich. Ist super kompakt programmiert 🙂
Und HTML-Framesets sind so ein Ding. Ich mach das nie, ist mir zu nervig. Lieber eine einzige HTML-Seite als Tabellenmonster.
Greetzz
Daniel
escapedPrisoner schriebAber ob da jemand Bock hat den Code unter die Lupe zu nehmen bezweifle ich. Ist super kompakt programmiert 🙂
ich hab ihn schon etwas unter die etwas unter die Lupe genommen und musste auch hier und da ein paar Anpassungen vornehmen, damit es bei mir überhaupt läuft. So kompakt ists nun auch wieder nich... aber bei mir ist die Performance schon wieder besser geworden, deshalb werde ich auch keine weiteren Bemühungen reinstecken. Außerdem wird die Extension ja noch weiterentwickelt, wenn ich mich jetzt nicht irre, und dann sind Überschneidungen vorprogrammiert.
Achja, wie kann man eigendlich ne Extension updaten ohne das er die ganzen DB-Einträge verliert? Achso ich glaub man muss dann einfach den Haken für Erstellen der DB rausnehemen, oder?
escapedPrisoner schriebUnd HTML-Framesets sind so ein Ding. Ich mach das nie, ist mir zu nervig. Lieber eine einzige HTML-Seite als Tabellenmonster.
Ja, beides hat Vor- und Nachteile. "Meine" Seite besteht auch aus ner Tabelle, externe Dokumente kann ich leider nicht im Hauptteil darstellen, sondern muss immer ein neues Fenster aufmachen bzw. im selben Fenster öffnen, dann ist aber die Navi und so alles weg. Großer Nachteil finde ich...
Achja, wie kann man eigendlich ne Extension updaten ohne das er die ganzen DB-Einträge verliert? Achso ich glaub man muss dann einfach den Haken für Erstellen der DB rausnehemen, oder?
Na, meistens hat sich ja nur der Code geändert. Dann ist der Haken nicht nötig.
wenn aber neue Tabellenattribute dazugekommen sind oder sich das Format geändert hat gibts Probs.
Greetzz
Daniel
Hallo erstmal!
cache_all ist ja ein cooles tool :-)
The database-query is: SELECT pages.uid FROM pages LEFT JOIN cache_pages ON pages.uid=cache_pages.page_id WHERE pages.deleted=0 and pages.hidden=0 and pages.no_cache=0 and pages.doktype>0 and pages.doktype<3 and pages.fe_group=0 and cache_pages.page_id IS NULL LIMIT 0 , 100
curl -o tempCURL_L0.html -d "id=2&L=0" http://www.xy.com/index.php
curl -o tempCURL_L1.html -d "id=2&L=1" http://www.xy.com/index.php
curl -o tempCURL_L0.html -d "id=33&L=0" http://www.xy.com/index.php
curl -o tempCURL_L1.html -d "id=33&L=1" http://www.xy.com/index.php
curl -o tempCURL_L0.html -d "id=43&L=0" http://www.xy.com/index.php
curl -o tempCURL_L1.html -d "id=43&L=1" http://www.xy.com/index.php
curl -o tempCURL_L0.html -d "id=47&L=0" http://www.xy.com/index.php
curl -o tempCURL_L1.html -d "id=47&L=1" http://www.xy.com/index.php
Da cacht er aber laufend die selbe Seite? Irgendwas stimmt doch da noch nicht.
Und bei der Übersicht zeigt er mir folgendes an:
Anzahl aller Seiten: 60 Seiten
Anzahl gecachter Seiten: 0 Seiten
Mir schwahnt böses. brauche ich dieses Static dingens? Kann cache_all mit index.php/id=149 etwa nichts anfangen? Oh oh...
Das komische ist, das Indexed-Search grundsätzlich funktioniert. Ich wollte nur das Cachproblem lösen...
Und noch was:
Meine Indexed-Search listet mir bei den Ergebnissen alle Seiten mit auf in denen das gesucht Wort in den Meta-Tags vorkommt, d.h. als Suchergebnis kann z.B. eine Seite kommen die nur Bilder enthält. Ist müssig und verwirrend.
Weiss jemand abhilfe und Rat?
Lieben Gruss
Junior
Hi,
erst einmal zum Junior:
..
curl -o tempCURL_L1.html -d "id=43&L=1" http://www.xy.com/index.php
curl -o tempCURL_L0.html -d "id=47&L=0" http://www.xy.com/index.php
curl -o tempCURL_L1.html -d "id=47&L=1" http://www.xy.com/index.php
..
Der Code ist soweit OK. Hier werden die IDs mit 43 und 47 gecached. Man sieht außerdem, dass Du 2 Sprachen definiert hast und hier der Sprachparameter L benutzt wird.
Also alles einwandfrei.
Jetzt aber mal eine andere Sache. Ich hatte mir auch den "automatischen Cacher" installiert, jedoch war es mir zu zeitaufwendig, das Script laufen zu lassen. Ich habe festgestellt, dass bei mir die Suchmaschinen den Indexer übernehmen (vor allem Altavista).
Altavista hat bei einer Site allein letzten Monat ca. 115.000 Mal auf die Seiten zugegriffen und die sind dann auch in den Cache gewandert (OK, habe ein wenig getrickst aber wer tut das nicht #giggle# #giggle# ).
Ich habe jedoch den Eindruck, dass dies nicht bei allen Suchmaschinen funktioniert.
Hat irgendjemand vielleicht ähnliche Effekte?
Ciao
Der DJ
dj.picasso schrieb(OK, habe ein wenig getrickst aber wer tut das nicht #giggle# #giggle# ).
Jetzt musst schon die komplette Katze aus dem Sack lassen 😉
@dj
Danke für die Erklärungen. Das ich 2 Sprachen installiert habe ist mir neu *lol*. Nur warum zeigt er mir dann in der Übersicht
Anzahl aller Seiten: 60 Seiten
Anzahl gecachter Seiten: 0 Seiten
"0" an? Ich werde da mal weiter dranbleiben (müssen)...
Ich kann mich sw-student nur anschliessen: die Katze rauslassen 😉
Lieben Gruss und Dank
Junior
Hi,
Junior schriebDanke für die Erklärungen. Das ich 2 Sprachen installiert habe ist mir neu *lol*.
Dass Du 2 Sprachen installiert hast ist definitiv!
Ob Du 2 Sprachen nutzt ist eine andere Sache!
Zur Info: einfach mal im ROOT-Folder (ganz oben mit dem Ball) nach "Website Sprache" schauen.
Junior schriebNur warum zeigt er mir dann in der Übersicht
Do not Know! #giggle#
Junior schriebIch kann mich sw-student nur anschliessen: die Katze rauslassen 😉
Sorry, generell bin ich ja gern bereit anderen zu helfen, aber alles darf man auch nicht sagen. Es gibt eben auch noch die kleinen Geheimnisse #giggle# 8-)
Ciao
Der DJ
Danke dj!
Nur mit deiner Aussage
Do not know 😃
kann ich nichts anfangen #paralyzed#
Du hast ja recht, gewisse goggle-Geheimnisse sollte man wirklich für sich behalten. 8-)
Lieben Gruss
Junior
@Junior:
Anzahl aller Seiten: 60 Seiten
Anzahl gecachter Seiten: 0 Seiten
Wenn die Übersicht 0 anzeigt, dann ist auch wirklich nix im Cache gelandet. Das liegt aber nicht an der Extension, sondern dass nichts gecached werden KANN. Das klappt dann nämlich auch "per Hand" nicht.
Ich denke es wäre ganz nett, wenn die Extension auch ein paar checks machen würde. Zum Beispiel, ob das Indexieren überhaupt aktiv ist. Und praktisch wäre es wohl auch, zu checken woran es liegt, wenn eine Seite nicht gecacht werden kann - aber da fällt mir noch kein guter Algorithmus ein.
Greetz
Daniel
Danke escaped!
Ok, aber meine Indexed Search läuft. Ich kann bereits darüber suchen und Seiten werden auch ausgegeben... Das ist jetzt merkwürdig. Nachdem ich die cache_all installiert hatte sagte er mir:
Anzahl gecachter Seiten: 1 Seiten
Nachdem er dann keine weiteren gecacht hatte, habe ich den Cache gelöscht und seitdem cacht er (bei cache_all) nichts mehr. Aber eben, die Indexed läuft...
Merkwürdig, merkwürdig...
Lieben Gruss
Junior
Naja, es ist so, dass der Index nie gelöscht wird. Der Cache aber bei jeder Gelegenheit.
Kann also sein, dass Du noch mit einem Index arbeitest, der vor 300 Jahren mal angelegt worden ist.
Es gibt tausend Gründe warum nicht gecacht wird. Funktioniert Dein admin-frontend-edit (weiß grad nicht wie das Ding heißt) ?
Greetz
Daniel
Leut,
ich hab den Algorithmus nochmal überarbeitet.
Hier der Link: #119317
Neu ist:
- Man kann nun detailliert angeben, welche Sprachen wirklich gecacht werden sollen (das Feature ist nur für Ungeduldige interessant)
- Es gibt nun ein Schluss-check: Am Schluss eines jeden Durchlaufs wird gezählt wieviele Wörter tatsächlich im Index für indexed_search liegen!
Da sich der ursprüngliche Autor nicht meldet könnte ich den neuen Code mal richtig ins ExtensionRepository hineinladen.
Frage: Wäre "create_searchindex" ein passender Name dafür ?? 😃
Greetzz
Daniel
create_searchindex hört sich gut an... :-)
Der Autor scheint doch noch aktiv zu sein. Den Quellcode der index.php hat er ein bisschen "aufgelockert". Der zu ersetzende Part befindet sich jetzt von Zeile 343 bis 367!
20250 words are in the index for indexed_search (it works !) ++ 86 pages are NOT cached yet.
Was heißt das denn jetzt? Wieso werden die Seiten nach mehrmaligem Ausführen immer noch nicht gecached? Mein Typo is übrigens mittlerweile auf ner Linux Kiste am Laufen.
> Der Autor scheint doch noch aktiv zu sein. Den Quellcode der index.php hat er ein bisschen "aufgelockert".
Na, dann schreib ich nochmal hin. Vielleicht meldet er sich nun mal.
> Der zu ersetzende Part befindet sich jetzt von Zeile 343 bis 367!
Thanx! Prima infos, hab ich in das Update-Codestück hier im Thread gleich mal korrigiert.
20250 words are in the index for indexed_search (it works !) ++ 86 pages are NOT cached yet.
Na ist ja ne ganze Menge. Schreib mal Deinen Link her. Bei der www.spielwarenmesse.de sinds gerade mal 5500 Wörter.
Wieviele Seiten hast Du denn insgesamt - und auf wievielen Seiten hast Du was spezielles (also tt_news, tt_poll und sowas) ?
> Mein Typo is übrigens mittlerweile auf ner Linux Kiste am Laufen.
Yeah !!!Linux 4 ever!!
Greetz
Daniel