Zum Inhalt springen

Index für Indexsuche erstellen

Erstellt am 22. Januar 2003 · 98 Antworten · letzte Antwort am 27. August 2004 · Seite 4 von 5

Tags: Suche, Frage, TYPO3 3

escapedPrisoner ·

Achja, wie kann man eigendlich ne Extension updaten ohne das er die ganzen DB-Einträge verliert? Achso ich glaub man muss dann einfach den Haken für Erstellen der DB rausnehemen, oder?

Na, meistens hat sich ja nur der Code geändert. Dann ist der Haken nicht nötig.

wenn aber neue Tabellenattribute dazugekommen sind oder sich das Format geändert hat gibts Probs.

Greetzz
Daniel

Junior ·

Hallo erstmal!

cache_all ist ja ein cooles tool :-)

The database-query is: SELECT pages.uid FROM pages LEFT JOIN cache_pages ON pages.uid=cache_pages.page_id WHERE pages.deleted=0 and pages.hidden=0 and pages.no_cache=0 and pages.doktype>0 and pages.doktype<3 and pages.fe_group=0 and cache_pages.page_id IS NULL LIMIT 0 , 100 
 
curl -o tempCURL_L0.html -d "id=2&L=0" http://www.xy.com/index.php
curl -o tempCURL_L1.html -d "id=2&L=1" http://www.xy.com/index.php
curl -o tempCURL_L0.html -d "id=33&L=0" http://www.xy.com/index.php
curl -o tempCURL_L1.html -d "id=33&L=1" http://www.xy.com/index.php
curl -o tempCURL_L0.html -d "id=43&L=0" http://www.xy.com/index.php
curl -o tempCURL_L1.html -d "id=43&L=1" http://www.xy.com/index.php
curl -o tempCURL_L0.html -d "id=47&L=0" http://www.xy.com/index.php
curl -o tempCURL_L1.html -d "id=47&L=1" http://www.xy.com/index.php

Da cacht er aber laufend die selbe Seite? Irgendwas stimmt doch da noch nicht.

Und bei der Übersicht zeigt er mir folgendes an:

Anzahl aller Seiten: 60 Seiten
Anzahl gecachter Seiten: 0 Seiten

Mir schwahnt böses. brauche ich dieses Static dingens? Kann cache_all mit index.php/id=149 etwa nichts anfangen? Oh oh...

Das komische ist, das Indexed-Search grundsätzlich funktioniert. Ich wollte nur das Cachproblem lösen...

Und noch was:
Meine Indexed-Search listet mir bei den Ergebnissen alle Seiten mit auf in denen das gesucht Wort in den Meta-Tags vorkommt, d.h. als Suchergebnis kann z.B. eine Seite kommen die nur Bilder enthält. Ist müssig und verwirrend.

Weiss jemand abhilfe und Rat?

Lieben Gruss

Junior

dj.​picasso ·

Hi,

erst einmal zum Junior:

..
curl -o tempCURL_L1.html -d "id=43&L=1" http://www.xy.com/index.php 
curl -o tempCURL_L0.html -d "id=47&L=0" http://www.xy.com/index.php 
curl -o tempCURL_L1.html -d "id=47&L=1" http://www.xy.com/index.php 
..

Der Code ist soweit OK. Hier werden die IDs mit 43 und 47 gecached. Man sieht außerdem, dass Du 2 Sprachen definiert hast und hier der Sprachparameter L benutzt wird.
Also alles einwandfrei.

Jetzt aber mal eine andere Sache. Ich hatte mir auch den "automatischen Cacher" installiert, jedoch war es mir zu zeitaufwendig, das Script laufen zu lassen. Ich habe festgestellt, dass bei mir die Suchmaschinen den Indexer übernehmen (vor allem Altavista).
Altavista hat bei einer Site allein letzten Monat ca. 115.000 Mal auf die Seiten zugegriffen und die sind dann auch in den Cache gewandert (OK, habe ein wenig getrickst aber wer tut das nicht #giggle# #giggle# ).
Ich habe jedoch den Eindruck, dass dies nicht bei allen Suchmaschinen funktioniert.
Hat irgendjemand vielleicht ähnliche Effekte?

Ciao
Der DJ

sw-student ·
dj.picasso schrieb

(OK, habe ein wenig getrickst aber wer tut das nicht #giggle# #giggle# ).

Jetzt musst schon die komplette Katze aus dem Sack lassen 😉

Junior ·

@dj

Danke für die Erklärungen. Das ich 2 Sprachen installiert habe ist mir neu *lol*. Nur warum zeigt er mir dann in der Übersicht

Anzahl aller Seiten: 60 Seiten
Anzahl gecachter Seiten: 0 Seiten

"0" an? Ich werde da mal weiter dranbleiben (müssen)...

Ich kann mich sw-student nur anschliessen: die Katze rauslassen 😉

Lieben Gruss und Dank

Junior

dj.​picasso ·

Hi,

Junior schrieb

Danke für die Erklärungen. Das ich 2 Sprachen installiert habe ist mir neu *lol*.

Dass Du 2 Sprachen installiert hast ist definitiv!
Ob Du 2 Sprachen nutzt ist eine andere Sache!
Zur Info: einfach mal im ROOT-Folder (ganz oben mit dem Ball) nach "Website Sprache" schauen.

Junior schrieb

Nur warum zeigt er mir dann in der Übersicht

Do not Know! #giggle#

Junior schrieb

Ich kann mich sw-student nur anschliessen: die Katze rauslassen 😉

Sorry, generell bin ich ja gern bereit anderen zu helfen, aber alles darf man auch nicht sagen. Es gibt eben auch noch die kleinen Geheimnisse #giggle# 8-)
Ciao
Der DJ

Junior ·

Danke dj!

Nur mit deiner Aussage

Do not know 😃

kann ich nichts anfangen #paralyzed#

Du hast ja recht, gewisse goggle-Geheimnisse sollte man wirklich für sich behalten. 8-)

Lieben Gruss

Junior

escapedPrisoner ·

@Junior:

Anzahl aller Seiten: 60 Seiten
Anzahl gecachter Seiten: 0 Seiten

Wenn die Übersicht 0 anzeigt, dann ist auch wirklich nix im Cache gelandet. Das liegt aber nicht an der Extension, sondern dass nichts gecached werden KANN. Das klappt dann nämlich auch "per Hand" nicht.

Ich denke es wäre ganz nett, wenn die Extension auch ein paar checks machen würde. Zum Beispiel, ob das Indexieren überhaupt aktiv ist. Und praktisch wäre es wohl auch, zu checken woran es liegt, wenn eine Seite nicht gecacht werden kann - aber da fällt mir noch kein guter Algorithmus ein.

Greetz
Daniel

Junior ·

Danke escaped!

Ok, aber meine Indexed Search läuft. Ich kann bereits darüber suchen und Seiten werden auch ausgegeben... Das ist jetzt merkwürdig. Nachdem ich die cache_all installiert hatte sagte er mir:

Anzahl gecachter Seiten: 1 Seiten

Nachdem er dann keine weiteren gecacht hatte, habe ich den Cache gelöscht und seitdem cacht er (bei cache_all) nichts mehr. Aber eben, die Indexed läuft...

Merkwürdig, merkwürdig...

Lieben Gruss

Junior

escapedPrisoner ·

Naja, es ist so, dass der Index nie gelöscht wird. Der Cache aber bei jeder Gelegenheit.

Kann also sein, dass Du noch mit einem Index arbeitest, der vor 300 Jahren mal angelegt worden ist.

Es gibt tausend Gründe warum nicht gecacht wird. Funktioniert Dein admin-frontend-edit (weiß grad nicht wie das Ding heißt) ?

Greetz
Daniel

escapedPrisoner ·

Leut,

ich hab den Algorithmus nochmal überarbeitet.
Hier der Link: #119317

Neu ist:
- Man kann nun detailliert angeben, welche Sprachen wirklich gecacht werden sollen (das Feature ist nur für Ungeduldige interessant)
- Es gibt nun ein Schluss-check: Am Schluss eines jeden Durchlaufs wird gezählt wieviele Wörter tatsächlich im Index für indexed_search liegen!

Da sich der ursprüngliche Autor nicht meldet könnte ich den neuen Code mal richtig ins ExtensionRepository hineinladen.

Frage: Wäre "create_searchindex" ein passender Name dafür ?? 😃

Greetzz
Daniel

sw-student ·

Der Autor scheint doch noch aktiv zu sein. Den Quellcode der index.php hat er ein bisschen "aufgelockert". Der zu ersetzende Part befindet sich jetzt von Zeile 343 bis 367!

20250 words are in the index for indexed_search (it works !) ++ 86 pages are NOT cached yet.
Was heißt das denn jetzt? Wieso werden die Seiten nach mehrmaligem Ausführen immer noch nicht gecached? Mein Typo is übrigens mittlerweile auf ner Linux Kiste am Laufen.

escapedPrisoner ·

> Der Autor scheint doch noch aktiv zu sein. Den Quellcode der index.php hat er ein bisschen "aufgelockert".

Na, dann schreib ich nochmal hin. Vielleicht meldet er sich nun mal.

> Der zu ersetzende Part befindet sich jetzt von Zeile 343 bis 367!
Thanx! Prima infos, hab ich in das Update-Codestück hier im Thread gleich mal korrigiert.

20250 words are in the index for indexed_search (it works !) ++ 86 pages are NOT cached yet.

Na ist ja ne ganze Menge. Schreib mal Deinen Link her. Bei der www.spielwarenmesse.de sinds gerade mal 5500 Wörter.

Wieviele Seiten hast Du denn insgesamt - und auf wievielen Seiten hast Du was spezielles (also tt_news, tt_poll und sowas) ?

> Mein Typo is übrigens mittlerweile auf ner Linux Kiste am Laufen.
Yeah !!!Linux 4 ever!!

Greetz
Daniel

sw-student ·

> Na ist ja ne ganze Menge. Schreib mal Deinen Link her. Bei der www.spielwarenmesse.de sinds gerade mal 5500 Wörter.
Link geht net - Intranet. 99% der Wörter stehen in den 600 Pdf's & Doc's ;-)

>Wieviele Seiten hast Du denn insgesamt - und auf wievielen Seiten hast Du was spezielles (also tt_news, tt_poll und sowas) ?
86 Seiten insgesamt, bisher nur auf einer das News Modul.

Versteh nur nicht, wieso die Seiten nicht gecached werden. Ist doch der Sinn der Extension? Wie war das nochmals mit der Pfadangabe, muss ich die irgendwo angeben, wenn ja, wo? Hab schonmal versucht:

$curl = '/usr/bin/curl -o tempCURL_L'.$i.'.html -d "id='.$row[uid] .'&L='.$i.'"' .' '.$site.'index.php';

dj.​picasso ·

Hi Knacki, 😃

escapedPrisoner schrieb
20250 words are in the index for indexed_search (it works !) ++ 86 pages are NOT cached yet.

Na ist ja ne ganze Menge. Schreib mal Deinen Link her.

Ich würde sagen das mit den 20.000 Wörtern hält sich noch in Grenzen. Ist ja klar, dass die Zahl am Anfang sehr stark ansteigt, aber dann nätürlich - je größer die Site - nur noch minimal wächst. Wie war das noch mit dem: lim (word) für page -> unendlich? #giggle#

Das hängt natürlich auch damit stark zusammen, welche Themenbereiche bzw. vor allem Fachbereich Du behandelst, da ja innerhalb eines "Themas" auch die Anzahl der Wörter und Fachwörter beschränkt sind.

Daten aus den Indizees einer meiner Sites:
Sprachen: 2 (deutsch und englisch)
Seiten: ca. 10.000 (one-tree-multilanguage), jedoch sind noch nicht alle gecached, da ich kürzlich den Index komplett gelöscht habe.
Hier mal eine Kopie der RECORDS:

index_phash:     8598 
index_words:     22351 
index_rel:       1381670 
index_grlist:    8601 
index_section:   8599 
index_fulltext:  8598 

index_phash TYPES
Typo3 page (0):     8598/8598

Dafür wächst aber die index_rel ganz gut an, da solltest Du mal schauen. Vor meinem letzten Löschen hatte die index_rel über 2,5 Mio Einträge.
... und auf der Site sind unterschiedliche EXT im Einsatz: Poll, Linklist, Tipps, Top Content, Technical Data (Eigenentwicklung), News, Guestbook, Rotating Content (um einiges erweitert), Keyword menus (Exessiv, geiles Tool), Newsletter (noch nicht freigeschaltet), und noch einige mehr.

Hat jemand eigentlich mal die Index-Search Statistik erweitert, so dass sie anzeigt, nach was die Leute auf Euren Seiten eigentlich suchen? Das ist doch gerade das WICHTIGE!
Ich habe derzeit nur eine einfache Variante erstellt. Ist zwar nicht so berauschend aber zumindest erhält man die wichtigsten Informationen. Vielleicht hat ja jemand eine bessere Alternative?

Vor allem da die normale Statistik nur für kleine Sites gemacht ist. Manche Indexierungs-Menus aufzurufen ist bei umfangreichen Sites nahe am Todesstoss des Servers!!! (Auch unter LINUX)

Ciao
Der DJ

escapedPrisoner ·

Aha! Du hast also 86 Seiten insgesamt und 86 Seiten sind noch nicht im Cache.

Na, da wird ja der Hund in der Pfanne verrückt. Du hast also Unmassen von PDFs im Kasten aber keine einzige Typo3Seite !!!! So schauts aus!

Na und ich dachte, das Wörter-Zählen ist DER Test aller Tests. Also setze ich die nächsten Tage noch einen check hinzu ob überhaupt eine Seite im Cache gelandet ist.

Kann man per PHP irgendwie prüfen ob indexing überhaupt auf 1 gesetzt ist??

---

> $curl = '/usr/bin/curl -o tempCURL_L'.$i.'.html -d "id='.$row

Nee, lass das mal. Wenns mit wget bei Dir nicht läuft, dann auch nicht mit curl!! Also erstmal den Modus aus. (auf 0 stellen).

Schau Dir mal die Seiten mit dem admin-Tool an. Die Seiten sind nämlich alle auf no_cache gestellt !!! Sonst würden sie ja im cache landen. Oder Du hast die Typosearch-Marker vergessen.

Sowas. Schäm Dich 😃

---

Tja hab mir die Original-Extension nochmal angeschaut. Hat sich nix verändert. Also dann doch "create_searchindex". Dann weiß man wenigstens was das eigentliche Ziel der EXT ist.

---

@DJ Picasso: Ich bin KEIN Knacki! Sondern ESCAPEDprisoner ;-)
Bei Dir hätte mich auch ein Link interssiert. Ich denke Du baust recht ordentliche Sachen.

Greetz
Daniel

sw-student ·

>Schau Dir mal die Seiten mit dem admin-Tool an. Die Seiten sind nämlich alle auf no_cache gestellt !!! Sonst würden sie ja im cache landen. Oder Du hast die Typosearch-Marker vergessen.

no_cache=0! Sonst würde er ja wohl kaum manuell gecachde Seiten anzeigen. Es is ja auch so, wenn ich den cache zuvor net leere, wird eben die entsprechende Anzahl, der im Cache liegenden Seiten in deiner Extension ausgegeben. Dazu kommen eben keine mehr. Hab die Typosearch Marker nur um ###CONTENT### - schlimm?

escapedPrisoner ·

Schau mal in dieser Liste nach, ob Du irgendwas vergessen hast:

Was ich eingestellt habe:
- config.index_enable = 1 (im SETUP-Bereich, in rootlevel 0)
- <!--TYPO3SEARCH_begin--> (im DesignTemplate, ist im fertigen Quellcode wirklich VOR den Inhaltstexten enthalten. Auf jeder Seite)
- <!--TYPO3SEARCH_end--> (im DesignTemplate, ist im fertigen Quellcode wirklich NACH den Inhaltstexten enthalten)
- Für indexed_search habe ich als Startingpoint dieselbe Seite angegeben, auf der auch das Plugin eingebunden ist. Also rootlinelevel 0. (wobei das vermutlich wurscht ist auf welchem rootlevel die Extension eingebaut ist)
- Caching ist für alle Seiten aktiv (im Admin-Panel muss für jede nötige Seite "no_cache 0" angezeigt werden)

Was ich getan habe:
- Nach dem Einrichten Cache "typo3conf" und "AllCache" gelöscht
- Um sicherzugehen, dass das Indizieren wirklich klappt habe ich die Datenbank-Tabellen "index_*" geleert. (Nicht gelöscht! Dies sollte man aber wirklich nur machen, wenn man weiß was man da tut!) 
- Im Frontend durch ein paar Seiten geklickt (ist egal ob man im Backend eingeloggt bleibt! Das Gerücht man müsse sich aus dem Backend ausloggen ist Schmarrn.)
- getestet ob indexed_search einen Begriff findet, der NUR auf diesen neu-gechten Seiten auftaucht (!!!)
- nun erst cache_all im wget-Modus benutzen.

Manche Extensions scheinen zwar völlig easy zu sein haben es aber in sich 🙂

Greetz
Daniel

Guido ·

Hi All,

bei mir funzt die indexed search einwandfrei, aber die cacheall-extension würde mir auch weiterhelfen.

Ich habe mir die aktuellste Version auf meinem Typo 3.5 auf einer Linux-Maschine installiert. wget und curl sind vorhanden.

Wenn ich allerdings im Backend das caching aufrufe, schreibt er mir unter der Überschrift "caching wird durchgeführt:" nichts hin und auch bei mehrfachem Aktualisieren werden die zu cachenden Seite nicht weniger.

Ich habe es mit wget und mit curl versucht (über die config geändert).

Hatte jemand ein ähnliches Phänomen und kann mir helfen?

Danke,

Guido