Was lange wärt wird endlich gut. Zumindest weiß ich nun wo das
Problem liegt. 😉
Seiten die Newselemente enthalten werden nicht gecached, was für
die Indexed Search zwingend erforderlich ist. Da ich nun auf jeder
Seite einen Bereich mit den aktuellen News hatte, wurde aber keine
Seite in den Cache mit aufgenommen.
Schaltet man das aus, werden alle Seiten ohne Newselemete, die besucht
werden, gecachet und somit auch in den Index geschrieben.
Vieleicht hilft das ja jemanden, der dieses Problem auch hat.
Ciao
Saronimus
P.S.: Man muss sich nicht als Admin auslogen, damit das Caching läuft.
Hi,
ich hab auch die Problem mit der indexed search und dem tt_news plugin.
Ich habe einfach das News-Modul aus dem Setup rausgenommen, dann den Index gebildet (Seiten besuchen) und dann die News wieder ins Setup aufgenomen.
Das funktioniert soweit wunderbar, die News werden zwar immer noch nicht durchsucht das ist aber halb so schlimm.
Hat jemand vielleicht eine Idee wie man den Vorgang automatisieren könnte?
Wäre für nen Tip dankabr, da ich erst vor drei Wochen eingestiegen bin.
Gruß,
Jewo
also ne wirkliche lösung ist das nicht, aber eine alternative.....
einfach nen htdig über das root verzeichnis drüber laufen lassen. und dann das ganze in typo3 ausgeben lassen.......
funktioniert wunderbar!!!!!
wie gesagt, das ist nur ne alternative!
Es gibt eine neue Extension, allerdings noch im Alpha Stadium, die alle Seiten cacht. Da die Ext. mit wget arbeitet, müssten eigentlich auch die nötigen Indizes für die Suche angelegt werden. Das löst allerdings nicht das News Problem, dafür muss tief im System geprogt werden.
Gruss
Thomas
selbst wenn die seiten gecached werden, was wird wirklich auf der seite gefunden? richtet es sich nur nach der überschrift, den metas und der beschreibung? oder findet er auch text, der auf der seite versteckt ist?
in der statistik variieren nämlich die anzahl der wörter zwischen 1 und 200 pro seite.
Leide muss eine Seite wirklich im index existieren, damit die Texte dann wirklich gefunden werden. Die Extension "cache_all" ist also eine gute Idee.
Leider gibt es noch ein paar Probs, damit man sie optimal verwenden kann. Es dürften nicht alle Seiten auf einmal durchlaufen werden, und statt localhost müsste der wirklich hostname verwendet werden. o.O
Hiermit werden ein paar der Probs gelöst **UPDATE vom 11.12.03**:
/***** replace the lines 343 bis 367 with the following code: *******/
case 2: //Cache the pages
//turn flush on
ob_implicit_flush(1);
/**************************
* settings */
//how much pages to cache NOW [value to test is 5] ?
$howmuch = 50;
// is curl installed [0 or 1]? - would be cool to check it by shell_exec()
$use_curl = 1;
// which languages [ if just one language: set both variables to "0" ] ?
// [ if three languages: $langFrom = 0; $langTo = 2; ]
$langFrom = 0; $langTo = 1;
/*
**************************/
// set up the queries
$query_main = "FROM pages LEFT JOIN cache_pages ON pages.uid=cache_pages.page_id WHERE pages.deleted=0 and pages.hidden=0 and pages.no_cache=0 and pages.doktype>0 and pages.doktype<3 and pages.fe_group=0 and cache_pages.page_id IS NULL";
$query_count = "SELECT count(*) as countpages ".$query_main;
$query_uid = "SELECT pages.uid ".$query_main." LIMIT 0 , ".$howmuch;
//count the needed pages
$res = mysql(TYPO3_db,$query_count);
$row = mysql_fetch_assoc($res);
//basic info
print "<br><br><h3>Caching. Please wait some seconds.</h3>";
print "The settings are: max $howmuch pages by each run, ";
if ($use_curl) { print "using curl, building cache for ".($langTo-$langFrom+1)." languages, <br>";
} else { print "using wget, building cache just for default-language, <br>"; }
$site="http://".$_SERVER["HTTP_HOST"]."/";
print "Your site is: <b>".$site."</b><br> <br>";
//get a list of pages with uid
$res_uid = mysql(TYPO3_db,$query_uid);
print '<br><br><font color="gray">The database-query is: '.$query_uid.' </font><br> <br>';
//wget each page from the array
while ($row = mysql_fetch_assoc($res_uid)) {
$id = $row["uid"];
if ($use_curl) {
for ($i = $langFrom; $i <= $langTo; $i++) {
$curl = 'curl -o tempCURL_L'.$i.'.html -d "id='.$row[uid] .'&L='.$i.'"' .' '.$site.'index.php';
print $curl."<br>";
$out.= shell_exec($curl);
} // end language
} else {
$wget = "wget ".$site."index.php?id=".$row["uid"]." --spider --timeout=0 --wait=0";
print $wget."<br>";
$out.= shell_exec($wget);
} // end caching
}
//count the needed pages
$res = mysql(TYPO3_db,$query_count);
$row = mysql_fetch_assoc($res);
$countpages = $row["countpages"];
//count the indexed_words !!!!!!!!
$res = mysql(TYPO3_db,"SELECT count(*) as countwords FROM index_words");
$row = mysql_fetch_assoc($res);
$countwords = $row["countwords"];
if ($countwords > 1) $txt_words="(it works !)";
//basic info
print "<br><br><h3>$countwords words are in the index for <b>indexed_search $txt_words</b> ++ $countpages pages are NOT cached yet.</h3>You've got to run this tool several times.<br>";
$this->content.=$this->doc->section($LANG->getLL("caching").":",$content,0,1);
break;
Diesen Code habe ich schon mehrmals überarbeitet. Ist inzwischen schon sehr ausgefeilt ! 😉
Greetzz
Daniel
Hab das nun umgestellt. Läuft nun nicht mehr mit wget, sondern mit curl.
Hat den Vorteil, dass nun für alle Sprachen gecached wird. Hat da jemand Interesse dran?
Greeetzz
Daniel
Hi escapedPrisoner,
ich glaube es wäre im Interesse aller, wenn du den dafür nötigen Code hier posten könntest, bzw. vielleicht sogar direkt die Extensions ins Repository uploadest.
In welcher Datei muss ich obigen Code einfügen?
Gruß Sw-Student
Hi,
tja, nun läufts seit 2 Wochen stabil bei uns.
Die vollständige Beschreibung und der aktuelle Code stehen dort wo es hingehört:
http://typo3.org/1383.0.html?&tx_t3annotation_pi1%5BshowUid%5D=356&tx_extrepmgm_pi1%5Bmode%5D=99&tx_extrepmgm_pi1%5BshowUid%5D=766&tx_extrepmgm_pi1%5Bcmd%5D=forum
Die Vorteile:
- schneller (checked nur noch die Seiten, die überhaupt gecached werden können)
- Umschaltung der Cache-Methode: wget (nur default-Sprache) oder curl
- kann mit hilfe von curl alle Sprachen cachen.
Wie kann man die Extension updaten:
- login ins backend -> extension-manager -> "cache_all" wählen -> umstellen (oben rechts): "information" in "edit files")
- Datei öffnen: "mod1/index.php"
- Ach ja und curl (http://www.linuxwiki.de/curl) muss man natürlich installieren ;-)
Viel Spaß damit ;-)
DanielBrüßler
Vielen Dank Daniel für die ausführliche Darstellung. Wie läuft denn jetzt das Cachen der Seiten genau ab. Ich geh im Backend auf Cache erstellen, dann beginnt sich der Fortschrittbalken rechts unten im Browser zu bewegen ... wird immer langsamer ... stillstand 😢 Muss ich denn nicht noch den Pfad von curl irgendwo einbringen? Ist ein Win Server. Oder dauert das cachen einfach sooooooo lange?
Hi sw-stud,
Weil das caching natürlich ein paar Sekunden dauert, wird stets angezeigt, welche Seite gerade gecached wird und welche Einstellungen verwendet werden. Schön wärs, wenn die Extension selbst checken würde, ob man curl oder wget installiert hat 😃
Stell das Maximum lieber erstmal runter. Zum Testen ist
$howmuch = 5;
ein guter Wert. Trotzdem hast Du auf Windows weder wget noch curl automatisch mit drauf. Die Sachen gehören zur Linux-Welt.
Aber no prob. Klick hier: http://curl.haxx.se/download.html
Wär nett, wenn Du ein kleines installations-Howto für Windows-User als Beitrag hinterhersetzt. 50% der Typo3-Installationen sind ja daheim auf dem eigenen PC.
Have fun ;-)
Daniel
So, jetzt hab ich die Stelle im Code gefunden, wo ich den Pfad einstellen kann. Mit &howmuch = 5 spuckt er folgendes aus:
Caching. Please wait some seconds.
The settings are: max 5 pages by each run, using curl, building cache for 2 languages,
Your site is: http://172.16.1.164/
The database-query is: SELECT pages.uid FROM pages LEFT JOIN cache_pages ON pages.uid=cache_pages.page_id WHERE pages.deleted=0 and pages.hidden=0 and pages.no_cache=0 and pages.doktype>0 and pages.doktype<3 and pages.fe_group=0 and cache_pages.page_id IS NULL LIMIT 0 , 5
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=109&L=0" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L1.html -d "id=109&L=1" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=113&L=0" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L1.html -d "id=113&L=1" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=114&L=0" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L1.html -d "id=114&L=1" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=115&L=0" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L1.html -d "id=115&L=1" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L0.html -d "id=116&L=0" http://172.16.1.164/index.php
c:/apache/htdocs/quickstart/fileadmin/tools/curl/curl -o tempCURL_L1.html -d "id=116&L=1" http://172.16.1.164/index.php
Remaining pages to cache: 61
Drunter steht noch was von wegen, dass man das Tool weitere Male ausführen soll. Aber was bringt das, wenn jedesmal dieselben Seiten gecached werden? Und wieso geht's immer bei id=109 los und nicht bei 0? Sobald ich &howmuch erhöhe, passiert wieder garnix (siehe oben).
Mit &howmuch = 5 spuckt er folgendes aus
Die Variable heißt "$howmuch".
Schaut prinzipell schon mal prima aus. Dein Domainname stimmt, und die erste NICHT-gecache'te Seite ist in Deinem Fall 109. Alles vor 109 liegt schon im Cache!!
Remaining pages to cache: 61
Leider lässt sich mit dem SELECT nicht für alle Seiten herausfinden, ob sie gecached werden können. Deswegen bleiben immer ein paar Seiten übrig. -- Die tt_news-Extension zum Beispiel verhindert das Cachen der jeweiligen Seite.
Übrigens: Wenn der Index mal angelegt wurde, dann bleibt er auch! -- Der Button "Alle Caches löschen" löscht nur den Cache! Es sind ja verschiedene Datenbanktabellen. 😉
Schönes Wochenende
Daniel
Hi Peoples out there,
kann man allgemein sagen, dass Seiten / Extensions welche man mit einem Browser Refresh aktualisiert werden können, nicht gecached werden, also Inhalte auch nicht in die Indexliste aufgenommen werden?
sw-student schrieb... nicht gecached werden, also Inhalte auch nicht in die Indexliste aufgenommen werden ...
So isses. Denn der Index wird ja aus den Cache-Datensätzen erstellt. Schau Dir doch die Tabellen mal in der Datenbank an.
Verwendest Du denn curl nun?
Greetzz
Daniel
Habs damals dann irgendwann aufgegeben. So richtig funktioniert hat's nicht. Aber werd mal nochmal einen neuen Anlauf starten. Damit ich nicht schon bei der Auswahl der Version einen Fehler mache: Welche Windows Version benötige ich?
Win32 - Generic?
Win32 - cygwin?
Win32 - Mingw32?
mit / ohne SSL?
Gruß
sw-student
sw-student schriebWin32 - Generic?
Win32 - cygwin?
Win32 - Mingw32?
mit / ohne SSL?
Oh, hätte nicht gedacht dass es unter Windows mal schwierig ist etwas zu installieren.
Nun SSL brauchst Du nicht, also "ohne". Und cygwin verwendest Du ja nicht sondern es soll ja als .dll ins Systemverzeichnis. Bleiben also noch zwei Sachen übrig. Ich würde mir Generic mal genauer anschauen.
Greetzz
Daniel
Also bei mir wird nichts gecached. Der rattert zwar die eingestellten 15 Seiten runter, gecachede Seiten werden aber immer noch 0 angezeigt. (habe zuvor den Cache geleert)
Hi sw-stud,
Ich installiere Curl auch mal auf meinem Windows-Rechner um zu schauen was es da für Probleme geben kann. Welche curl-Version hast Du denn nun gewählt?
Greetzz
Daniel