Zum Inhalt springen

Knifflig: Typo3 verursacht plötzlich enorme CPU Belastung

Erstellt am 13. Oktober 2004 · 48 Antworten · letzte Antwort am 14. Januar 2005 · Seite 2 von 3

Tags: tt_news, Cache & Performance, Frage

barthel ·
hamraucher schrieb
barthel schrieb

Bzw. holt das news Plugin alle Entries auf einmal oder hast du die Anzahl der darzustellenden Entries begrenzt ?

Wenn damit die anzahl darzustellender news gemeint ist, ja

Wieviel ?

hamraucher schrieb

...wenn ich die extensions im extManager entferne, keine änderung der situation
...wenn ich tt_news extension dort entferne alles wieder in ordnung

Kannst du mal stoppen, wie lange vom Anfordern bis zum 'Erscheinen' der Seite vergeht?
Außerdem, integriere mal die 'Statistik' innerhalb der generierten Seite:

<!-- Cached page generated 26/10 2004 16:38. Expires 27/10 2004 00:00 -->
<!-- Parsetime: 157 ms-->
<!-- Compressed, level 3, original size was 3769 bytes. New size is 1610 bytes -->

mit folgenden Einstellungen:

page.config {
debug = 1
}

und mal in dem mysql log die passenden Zeiten der Seitenzugriffe rausfummeln.

Ich will anhand der Zeiten mal schauen, wo's klemmt.
Letztendlich vermute ich ein leak im module tt_news.

hamraucher ·

hat a bisser länger gedauert - finde irgendwie mysq.log nicht

Zur Anzahl der News: 10

Bei der Debuginfo zeigt er nur:

<!-- Parsetime: 6824 ms-->

Jetzt zu den SQL Zugriffen:

irgendwie ist mysqld.log leer - ??? eine mysql.log finde ich unter /var/lib irgendwie sowie woanders nicht (kann das sein?)

barthel ·
hamraucher schrieb

Bei der Debuginfo zeigt er nur:
<!-- Parsetime: 6824 ms-->

Jetzt zu den SQL Zugriffen:
irgendwie ist mysqld.log leer - ??? eine mysql.log finde ich unter /var/lib irgendwie sowie woanders nicht (kann das sein?)

Da muß ich dich leider an SuSe verweisen.
Auf meiner Gentoo (http://www.gentoo.org) liegt das log file unter:
/var/log/mysql/mysql.log

Hast du das 'Admin Panel' bei dir aktiviert ?
Soweit ich mich erinnern kann, werden da die Zeiten der einzelnen Schritte (SQL, parsing...) eingetragen.
Benutzt du die Archiv Funktion von tt_news ?

Am besten du schaust mal, das du das log file von mysql findest. Dort werden die SQL Queries mitgeschrieben. Den 'passenden' Query raussuchen und per phpmyadmin oder auf der Konsole mal absetzen und die Zeit 'messem'/ausgeben lassen.

Damit hätten wir die Datenbank ausreichend beackert.
Danach ist das tt_news selbst drann.

barthel ·
hamraucher schrieb

Bei der Debuginfo zeigt er nur:
<!-- Parsetime: 6824 ms-->

Diese Seite wird von Typo3 nicht gecached. Ansonsten würde etwas wie hier zu sehen im Quelltext auftauchen:

<!-- Cached page generated 27/10 2004 11:50. Expires 28/10 2004 00:00 -->
<!-- Parsetime: 338 ms-->

Der Quelltext (Debugeintrag) sollte sich bis 28/10 2004 00:00 nicht ändern.

hamraucher ·

jetzt bin ich kurzfristig überfragt: nichts weist darauf hin dass das caching ausgeschaltet wäre...

konnte bis gestern leider auch nicht ermitteln, wie ich an eine sql-logdatei abfrage komme - (ich habs über den sql monitor versucht (abfrage der ISAM tabellen) hat leider nicht geklappt - müsste ich mich wohl noch genauer mit beschäftigen)

barthel ·
hamraucher schrieb

jetzt bin ich kurzfristig überfragt: nichts weist darauf hin dass das caching ausgeschaltet wäre...

Hast du etwas wie:

page.config {
...
}

Bei mir sieht es in Sachen caching wie folgt aus:

page.config {
...
    # cache optimierung
    cache_period = 86400
    cache_clearAtMidnight = 1
...
}
hamraucher ·

is bei mir jetzt auch drin... - zeigt aber in der debuginfo nachwievor nur "parsetime" -

bin aber in sachen "leak" in den tt_news tables ebenso von deiner vermutung überzeugt - da is irgendwo der wurm drin...

barthel ·
hamraucher schrieb

is bei mir jetzt auch drin... - zeigt aber in der debuginfo nachwievor nur "parsetime" -

Ist auch Quatsch... Asche auf mein Haupt o.O
Newsartikel werden doch in Typo3 nicht zwischengespeichert...

Hast du die Sache mit dem Adminpanel mal ausprobiert ?
Ich glaube es wurde in früheren postings schon mal erwähnt.

hamraucher ·

nein nein, ist im prinzip kein falscher gedanke - tt_news werden in der version 1.7 eigentlich doch gecachet (um diese mit der indexed suche zu verwenden)

admin panel ? sozusagen die möglichkeit im frontend zu editieren ?

barthel ·
hamraucher schrieb

nein nein, ist im prinzip kein falscher gedanke - tt_news werden in der version 1.7 eigentlich doch gecachet (um diese mit der indexed suche zu verwenden)

Dann ist das aber ausgeschaltet. Ansonsten würde beim generieren der oben genennte Text erscheinen.

Suche mal nach:

plugin.tt_news {
    allowChaching >
    allowChaching = 0
}
hamraucher schrieb

admin panel ? sozusagen die möglichkeit im frontend zu editieren ?

Nicht zu verwechseln mit dem editPanel...
https://docs.typo3.org/m/typo3/reference-typoscript/main/en-us/UserTsconfig/Index.html

hamraucher ·

also in den constants steht:

plugin.tt_news.allowCaching = 1

einen anderen eintrag habe ich nicht gefunden (weder im typo setup der extension noch im eigenen)

barthel ·
hamraucher schrieb

also in den constants steht:

plugin.tt_news.allowCaching = 1

einen anderen eintrag habe ich nicht gefunden (weder im typo setup der extension noch im eigenen)

Klingt richtig. Leider kann ich den parsetime Text nicht validieren, da ich im Moment kein Testsystem habe.
Sollte also das caching aktiv sein, wird das langsam ein Fall für den tt_news Maintainer/Entwickler...

Hast du mal das adminpanel eingebunden ?

Nochmal zur Klarstellung:
Dein gesammter Webauftritt (Domain) wird Knete sobald das tt_news aktiviert ist ? Oder nur die Anzeige der Newsliste/ einzelnen News ?

hamraucher ·

der gesamte webauftritt ! aber nur EINE DOMAIN - heisst: alle anderen domains in ein und dem selben seitenbaum funktionieren korrekt... (und sind von bestehender präsenz separiert )

is schon ein irrsinn alles

also das adminpanel steht im setupcode, lässt sich aber irgendwie auch nicht anzeigen... - nun gut, ich denke ich werde die tage mal versuchen den entwickler zu kontaktieren, vielleicht bringts ja was...

barthel ·
hamraucher schrieb

der gesamte webauftritt ! aber nur EINE DOMAIN - heisst: alle anderen domains in ein und dem selben seitenbaum funktionieren korrekt... (und sind von bestehender präsenz separiert )

Noch eine andere Idee...
Vorausgesetzt die News werden wirklich im Cache verwaltet.
Es könnte auch die Methode sein, die die Gültigkeit' des Cache überprüft und das bei jedem Zugriff auf die Seite.

Irgendwie muß ich da nochmal drüber schlafen.
An sonsten eine mail an die englische Mailingliste.

barthel ·
hamraucher schrieb

der gesamte webauftritt ! aber nur EINE DOMAIN - heisst: alle anderen domains in ein und dem selben seitenbaum funktionieren korrekt... (und sind von bestehender präsenz separiert )

Ich habe gerade gesehen, das du Imageprocessing betreibst.
Absoluter Kandidat für den Flaschenhals.
Vielleicht werden die Bilder von tt_news entries nicht richtig gecached und jedes mal durch imagemagic gewürgt.

Tip: Installiere mal die gz_lib Extension (Name so oder ähnlich ;-) ) und lasse den Content komprimieren... ist ganz schön fett ;-?

http://www.websiteoptimization.com/services/analyze/wso.php?url=http://www.indynews.net/

barthel ·
hamraucher schrieb

der gesamte webauftritt ! aber nur EINE DOMAIN - heisst: alle anderen domains in ein und dem selben seitenbaum funktionieren korrekt... (und sind von bestehender präsenz separiert )

Ich habe gerade gesehen, das du Imageprocessing betreibst.
Absoluter Kandidat für den Flaschenhals.
Vielleicht werden die Bilder von tt_news entries nicht richtig gecached und jedes mal durch imagemagic gewürgt.

Tip: Installiere mal die gz_lib Extension (Name so oder ähnlich ;-) ) und lasse den Content komprimieren... ist ganz schön fett ;-?

http://www.websiteoptimization.com/services/analyze/wso.php?url=http://www.indynews.net/

hamraucher ·

ahhh... es war "compress_debug_info" im installtool nicht aktiviert

er zeigt:

<!-- Parsetime: 6367 ms-->
<!-- Compressed, level 3, original size was 39860 bytes. New size is 7986 bytes -->

gzlib und zlib sind eigentlich funktionsbereit

barthel ·
hamraucher schrieb

ahhh... es war "compress_debug_info" im installtool nicht aktiviert
<!-- Parsetime: 6367 ms-->
<!-- Compressed, level 3, original size was 39860 bytes. New size is 7986 bytes -->

gzlib und zlib sind eigentlich funktionsbereit

Das wäre eine wichtige Info gewesen ;-)

Mein Vorschlag zum weiteren Vorgehen:
! Alle caches nach jedem Punkt löschen und alle Schritte mind. 3x ausführen. Bitte sämtliche vorgelagerten cache ausschalten und auch tidy, zlib und was sonst noch am generierten code rummacht.

1. tt_news 'ausschalten' -> Zugriffszeit messen (z.B. mit der oben geposteten URL)
2. tt_news 'einschalten' allerdings OHNE Bildbearbeitung und OHNE Newscache (alles was mit image zu tun hat mit '>' entfernen. z.B.: maxWidth usw.) -> Zugriffszeit messen
3. tt_news 'einschalten' allerdings OHNE Bildbearbeitung und MIT Newscache (alles was mit image zu tun hat mit '>' entfernen. z.B.: maxWidth usw.) -> Zugriffszeit messen
4. tt_news 'einschalten' allerdings MIT Bildbearbeitung und OHNE Newscache (alles was mit image zu tun hat mit '>' entfernen. z.B.: maxWidth usw.) -> Zugriffszeit messen
5. tt_news 'einschalten' allerdings MIT Bildbearbeitung und MIT Newscache (alles was mit image zu tun hat mit '>' entfernen. z.B.: maxWidth usw.) -> Zugriffszeit messen
6. Originalzustand wieder herstellen -> Zugriffszeit messen

Ist eine Menge Holz... ich denke die Arbeit lohnt sich aber.
Was ich damit bezwecken will ?
Der Verdacht liegt nahe, das entweder die generierten Bilder in deinen News nicht gecached werden oder das der Cache einfach inkonsitent wird. Als erstes Mittel, um einen Ansatzpunkt zu finden, müssen wir die segnif. Unterschiede in der Bearbeitung herausarbeiten.
Deshalb ist es wichtig, das KEIN anderes Tool außer der Typo3 Core Engine incl. Cache und ImageMagic mit dem Content beschäftigt ist.

barthel ·

Hast du innerhalb dieser Domain auch Seiten ohne News Content ?
Erscheint dort ein String wie dieser ?

<!-- Cached page generated 28/10 2004 00:28. Expires 29/10 2004 00:00 -->
barthel ·

Noch etwas anderes:
http://www.indynews.net/index.php?indyimpressum

<!DOCTYPE html
	PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<html>
<head>
	<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />
...
</head>
<body bgcolor="#FFFFFF">
<style type="text/css">
...
</style></head>
<body>
<table width="800" border="0" align="left" cellpadding="0" cellspacing="0">
<!-- The Philart Allmediafactory www.philart.com -->
...
</body>
</body>
</html>

Fällt dir etwas auf ?
Du solltest die Seiten unbedingt mal durch den Validator jagen.