Zum Inhalt springen

Index für Indexsuche erstellen

Erstellt am 22. Januar 2003 · 98 Antworten · letzte Antwort am 27. August 2004 · Seite 2 von 5

Tags: Suche, Frage, TYPO3 3

tmallee ·

Es gibt eine neue Extension, allerdings noch im Alpha Stadium, die alle Seiten cacht. Da die Ext. mit wget arbeitet, müssten eigentlich auch die nötigen Indizes für die Suche angelegt werden. Das löst allerdings nicht das News Problem, dafür muss tief im System geprogt werden.

Gruss

Thomas

wikki ·

selbst wenn die seiten gecached werden, was wird wirklich auf der seite gefunden? richtet es sich nur nach der überschrift, den metas und der beschreibung? oder findet er auch text, der auf der seite versteckt ist?
in der statistik variieren nämlich die anzahl der wörter zwischen 1 und 200 pro seite.

escapedPrisoner ·

Leide muss eine Seite wirklich im index existieren, damit die Texte dann wirklich gefunden werden. Die Extension "cache_all" ist also eine gute Idee.

Leider gibt es noch ein paar Probs, damit man sie optimal verwenden kann. Es dürften nicht alle Seiten auf einmal durchlaufen werden, und statt localhost müsste der wirklich hostname verwendet werden. o.O

Hiermit werden ein paar der Probs gelöst **UPDATE vom 11.12.03**:

/***** replace the lines 343 bis 367 with the following code: *******/

	                case 2: //Cache the pages
				//turn flush on
				ob_implicit_flush(1);
				
				/**************************
				*               settings               */

				//how much pages to cache NOW [value to test is 5] ?
				$howmuch = 50;

				// is curl installed [0 or 1]? - would be cool to check it by shell_exec()
				$use_curl = 1;

				// which languages [ if just one language: set both variables to "0" ] ?
				// [ if three languages: $langFrom = 0; $langTo = 2; ]
				$langFrom = 0; $langTo = 1;

				/*
				**************************/

				// set up the queries
				$query_main = "FROM pages LEFT JOIN cache_pages ON pages.uid=cache_pages.page_id WHERE pages.deleted=0 and pages.hidden=0 and pages.no_cache=0 and pages.doktype>0 and pages.doktype<3 and pages.fe_group=0 and cache_pages.page_id IS NULL";
				$query_count = "SELECT count(*) as countpages ".$query_main;
				$query_uid = "SELECT pages.uid ".$query_main." LIMIT 0 , ".$howmuch;

				//count the needed pages
				$res = mysql(TYPO3_db,$query_count);
				$row = mysql_fetch_assoc($res);

				//basic  info
				print "<br><br><h3>Caching. Please wait some seconds.</h3>";
				print "The settings are: max $howmuch pages by each run, ";
				if ($use_curl) { print "using curl, building cache for ".($langTo-$langFrom+1)." languages, <br>";
				} else { print "using wget, building cache just for default-language, <br>"; }
				$site="http://".$_SERVER["HTTP_HOST"]."/";
				print "Your site is: <b>".$site."</b><br> <br>";

				//get a list of pages with uid
				$res_uid = mysql(TYPO3_db,$query_uid);
				print '<br><br><font color="gray">The database-query is: '.$query_uid.' </font><br> <br>';
				//wget each page from the array
				while ($row = mysql_fetch_assoc($res_uid)) {
					$id = $row["uid"];

					if ($use_curl)  {
					    for ($i = $langFrom; $i <= $langTo; $i++) {
					      $curl = 'curl -o tempCURL_L'.$i.'.html -d "id='.$row[uid]  .'&L='.$i.'"'        .' '.$site.'index.php';
					      print $curl."<br>";
					      $out.= shell_exec($curl);
					    } // end language
					} else {
					    $wget = "wget ".$site."index.php?id=".$row["uid"]." --spider --timeout=0 --wait=0";
					    print $wget."<br>";
					    $out.= shell_exec($wget);
					} // end caching


                                }

				//count the needed pages
				$res = mysql(TYPO3_db,$query_count);
				$row = mysql_fetch_assoc($res);
				$countpages = $row["countpages"];

				//count the indexed_words !!!!!!!!
				$res = mysql(TYPO3_db,"SELECT count(*) as countwords FROM index_words");
				$row = mysql_fetch_assoc($res);
				$countwords = $row["countwords"];
				if ($countwords > 1) $txt_words="(it works !)";


				//basic  info
				print "<br><br><h3>$countwords words are in the index for <b>indexed_search $txt_words</b> ++ $countpages pages are NOT cached yet.</h3>You've got to run this tool several times.<br>";
                               $this->content.=$this->doc->section($LANG->getLL("caching").":",$content,0,1);
                        break;

Diesen Code habe ich schon mehrmals überarbeitet. Ist inzwischen schon sehr ausgefeilt ! 😉

Greetzz
Daniel

escapedPrisoner ·

Hab das nun umgestellt. Läuft nun nicht mehr mit wget, sondern mit curl.

Hat den Vorteil, dass nun für alle Sprachen gecached wird. Hat da jemand Interesse dran?

Greeetzz
Daniel

sw-student ·

Hi escapedPrisoner,

ich glaube es wäre im Interesse aller, wenn du den dafür nötigen Code hier posten könntest, bzw. vielleicht sogar direkt die Extensions ins Repository uploadest.

In welcher Datei muss ich obigen Code einfügen?

Gruß Sw-Student

escapedPrisoner ·

Hi,

tja, nun läufts seit 2 Wochen stabil bei uns.

Die vollständige Beschreibung und der aktuelle Code stehen dort wo es hingehört:
http://typo3.org/1383.0.html?&tx_t3annotation_pi1%5BshowUid%5D=356&tx_extrepmgm_pi1%5Bmode%5D=99&tx_extrepmgm_pi1%5BshowUid%5D=766&tx_extrepmgm_pi1%5Bcmd%5D=forum

Die Vorteile:
- schneller (checked nur noch die Seiten, die überhaupt gecached werden können)
- Umschaltung der Cache-Methode: wget (nur default-Sprache) oder curl
- kann mit hilfe von curl alle Sprachen cachen.

Wie kann man die Extension updaten:
- login ins backend -> extension-manager -> "cache_all" wählen -> umstellen (oben rechts): "information" in "edit files")
- Datei öffnen: "mod1/index.php"
- Ach ja und curl (http://www.linuxwiki.de/curl) muss man natürlich installieren ;-)

Viel Spaß damit ;-)
DanielBrüßler

sw-student ·

Vielen Dank Daniel für die ausführliche Darstellung. Wie läuft denn jetzt das Cachen der Seiten genau ab. Ich geh im Backend auf Cache erstellen, dann beginnt sich der Fortschrittbalken rechts unten im Browser zu bewegen ... wird immer langsamer ... stillstand 😢 Muss ich denn nicht noch den Pfad von curl irgendwo einbringen? Ist ein Win Server. Oder dauert das cachen einfach sooooooo lange?

escapedPrisoner ·

Hi sw-stud,

Weil das caching natürlich ein paar Sekunden dauert, wird stets angezeigt, welche Seite gerade gecached wird und welche Einstellungen verwendet werden. Schön wärs, wenn die Extension selbst checken würde, ob man curl oder wget installiert hat 😃

Stell das Maximum lieber erstmal runter. Zum Testen ist

$howmuch = 5;

ein guter Wert. Trotzdem hast Du auf Windows weder wget noch curl automatisch mit drauf. Die Sachen gehören zur Linux-Welt.

Aber no prob. Klick hier: http://curl.haxx.se/download.html

Wär nett, wenn Du ein kleines installations-Howto für Windows-User als Beitrag hinterhersetzt. 50% der Typo3-Installationen sind ja daheim auf dem eigenen PC.

Have fun ;-)
Daniel

sw-student ·

So, jetzt hab ich die Stelle im Code gefunden, wo ich den Pfad einstellen kann. Mit &howmuch = 5 spuckt er folgendes aus:

Caching. Please wait some seconds.
The settings are: max 5 pages by each run, using curl, building cache for 2 languages, 
Your site is: http://172.16.1.164/



The database-query is: SELECT pages.uid FROM pages LEFT JOIN cache_pages ON pages.uid=cache_pages.page_id WHERE pages.deleted=0 and pages.hidden=0 and pages.no_cache=0 and pages.doktype>0 and pages.doktype<3 and pages.fe_group=0 and cache_pages.page_id IS NULL LIMIT 0 , 5 

c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=109&L=0" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L1.html -d "id=109&L=1" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=113&L=0" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L1.html -d "id=113&L=1" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=114&L=0" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L1.html -d "id=114&L=1" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=115&L=0" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L1.html -d "id=115&L=1" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=116&L=0" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L1.html -d "id=116&L=1" http://172.16.1.164/index.php



Remaining pages to cache: 61

Drunter steht noch was von wegen, dass man das Tool weitere Male ausführen soll. Aber was bringt das, wenn jedesmal dieselben Seiten gecached werden? Und wieso geht's immer bei id=109 los und nicht bei 0? Sobald ich &howmuch erhöhe, passiert wieder garnix (siehe oben).

escapedPrisoner ·

Mit &howmuch = 5 spuckt er folgendes aus

Die Variable heißt "$howmuch".

c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=109&L=0" http://172.16.1.164/index.php

Schaut prinzipell schon mal prima aus. Dein Domainname stimmt, und die erste NICHT-gecache'te Seite ist in Deinem Fall 109. Alles vor 109 liegt schon im Cache!!

Remaining pages to cache: 61

Leider lässt sich mit dem SELECT nicht für alle Seiten herausfinden, ob sie gecached werden können. Deswegen bleiben immer ein paar Seiten übrig. -- Die tt_news-Extension zum Beispiel verhindert das Cachen der jeweiligen Seite.

Übrigens: Wenn der Index mal angelegt wurde, dann bleibt er auch! -- Der Button "Alle Caches löschen" löscht nur den Cache! Es sind ja verschiedene Datenbanktabellen. 😉

Schönes Wochenende
Daniel

sw-student ·

Hi Peoples out there,

kann man allgemein sagen, dass Seiten / Extensions welche man mit einem Browser Refresh aktualisiert werden können, nicht gecached werden, also Inhalte auch nicht in die Indexliste aufgenommen werden?

escapedPrisoner ·
sw-student schrieb

... nicht gecached werden, also Inhalte auch nicht in die Indexliste aufgenommen werden ...

So isses. Denn der Index wird ja aus den Cache-Datensätzen erstellt. Schau Dir doch die Tabellen mal in der Datenbank an.

Verwendest Du denn curl nun?

Greetzz
Daniel

sw-student ·

Habs damals dann irgendwann aufgegeben. So richtig funktioniert hat's nicht. Aber werd mal nochmal einen neuen Anlauf starten. Damit ich nicht schon bei der Auswahl der Version einen Fehler mache: Welche Windows Version benötige ich?

Win32 - Generic?
Win32 - cygwin?
Win32 - Mingw32?

mit / ohne SSL?

Gruß
sw-student

escapedPrisoner ·
sw-student schrieb

Win32 - Generic?
Win32 - cygwin?
Win32 - Mingw32?

mit / ohne SSL?

Oh, hätte nicht gedacht dass es unter Windows mal schwierig ist etwas zu installieren.

Nun SSL brauchst Du nicht, also "ohne". Und cygwin verwendest Du ja nicht sondern es soll ja als .dll ins Systemverzeichnis. Bleiben also noch zwei Sachen übrig. Ich würde mir Generic mal genauer anschauen.

Greetzz
Daniel

sw-student ·

Also bei mir wird nichts gecached. Der rattert zwar die eingestellten 15 Seiten runter, gecachede Seiten werden aber immer noch 0 angezeigt. (habe zuvor den Cache geleert)

escapedPrisoner ·

Hi sw-stud,

Ich installiere Curl auch mal auf meinem Windows-Rechner um zu schauen was es da für Probleme geben kann. Welche curl-Version hast Du denn nun gewählt?

Greetzz
Daniel

sw-student ·

Morgen escapedPrisoner,

das ist lieb von dir. Benutze die curl-7.10.8-win32-nossl(.zip) [generic] Version.

Gruß
SW-Student

escapedPrisoner ·

Installiererei:

Ich bin ja auch nicht der Held im Installieren und drücke mich wenn ich kann. Aber nun muss es mal wieder sein. 8-)

Also: Habe das zip heruntergeladen und das File curl.exe ins windows-root-verzeichnis (bei mir mir c:winnt) hineingeschoben.

Beim Wechsel zur Kommandozeile, und der Eingabe von "curl --help" wird curl tatsächlich aktiv und zeigt brav die Hilfe an. Klappt also.

Klappt das bei Dir soweit? 🙂

Wenn ja ist zu prüfen ob curl auch von PHP her verwendet werden kann. Am einfachsten führst Du dafür die cache_all Extension kurz aus und schaust dann nach, ob das File "tempCURL_L0.html" vorhanden ist (im Verzeichnis der Extension). -- Soweit alles roger?

Greetzz
Daniel

sw-student ·

Morgen Daniel,

also "curl --help" funktioniert. Das lustige ist jetzt, dass "tempCURL_L0.html" in meinem Ordner vorhanden war. Nachdem ich es jetzt einmal gelöscht habe, ist es aber nimmer wieder aufgetaucht. Es muss also schon einmal funktioniert haben.