Zum Inhalt springen

Knifflig: Typo3 verursacht plötzlich enorme CPU Belastung

Erstellt am 13. Oktober 2004 · 48 Antworten · letzte Antwort am 14. Januar 2005 · Seite 1 von 3

Tags: tt_news, Cache & Performance, Frage

hamraucher ·

Liebe Typo3 Gemeinde,
seit ein paar Tagen gibt es auf unserem mittlerweile mächtig gewachsenem Typo3-NewsSystem ein merkwürdiges Ladezeitproblem: jeder Zugriff verursacht kurzfristig eine CPU-Auslastung des httpd-Dienstes von 98,9% und es dauert ca. 5 - 10 sekunden bis eine Seite angezeigt werden kann. Umso mehr Zugriffe desto höher die CPU-Auslastung , umso länger dauert die Anzeige. So hat es bei regem Traffic mittlerweile schon bis zu mehr als eine minute gedauert, bis eine Seite zu sehen war.

Das Backend, sowie andere in ein und demselben Typo3 Seitenbaum untergebrachten Präsenzen sind davon eigenartiger Weise nicht betroffen

Anfänglich und vor ein paar Tagen davon ausgegangen, dass das an irgendeiner mißlichen Dienstekonfiguration unseres Servers liegen könnte, nähere ich mich der Gewissheit, dass das Problem aller Wahrscheinlichkeit nach an der tt_news-Extension der Version 1.7 liegen könnte.

In der tt_news-Extension sind mittlerweile mehr als 1500 Einträge vorhanden und nun mache ich mir sorgen, dass Typo3 möglicherweise erstmalig an seine Grenzen gerät - das will und kann ich nicht glauben, deswegen suche ich seit Tagen und Stunden verbissen nach einer Lösung und vor allem: nach Rat.

Bisherige Ansätze:
- Ich habe den NewsCache abgestellt und auch die Indexed Suche - keine Verbesserung der Situation - also habe ich den News-Cache zur URL Verbesserung wieder aktiviert
- Ich habe alle nicht benötigen Extension entfernt
- Mehrmals und immerwieder alle Caches gelöscht
- Habe seit Tagen rauf und runter Foren und Manuals studiert - bisher weder ein Fortschritt noch ein Ansatz

Mein Server:
SuSe 9.0
PHP 4.3.9
Zend Accelerator
MMturck Cache 2?
Athlon 2200 XP
512 MB RAM
und dort bisher NUR EIN Typo3 am Start - also höchstmerkwürdig das Ganze, habe auf einer anderen Kiste 20 Typo3 und alles läuft prima und flott (hier aber 1GB Ram zur Verfügung)

Meine bisherigen Erfahrungen haben gezeigt, dass sich Typo3 bisher absolut prima hosten ließ und es bisher bei meinen Kunden nicht einmal zu Klagen kam

Hier ein Auszug der aktiven Dienste meines Servers beim Aufruf der Domain:

CPU: 99.3% user, 0.7% system, 0.0% nice, 0.0% idle
Mem: 1024760k total, 894216k used, 130544k free, 87300k buffers
Swap: 1052248k total, 0k used, 1052248k free, 298332k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
27964 nobody 25 0 26384 25m 5576 R 98.9 2.6 6:40.59 httpd
385 root 16 0 1096 1096 856 R 0.7 0.1 1:22.09 top
27828 nobody 15 0 26568 25m 5692 S 0.3 2.6 6:18.08 httpd
1 root 15 0 256 256 220 S 0.0 0.0 0:05.75 init
2 root 15 0 0 0 0 S 0.0 0.0 0:00.00 keventd
3 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd_CPU0
4 root 15 0 0 0 0 S 0.0 0.0 0:00.03 kswapd
5 root 25 0 0 0 0 S 0.0 0.0 0:00.00 bdflush
6 root 15 0 0 0 0 S 0.0 0.0 0:00.03 kupdated
7 root 25 0 0 0 0 S 0.0 0.0 0:00.00 kinoded
8 root 25 0 0 0 0 S 0.0 0.0 0:00.00 mdrecoveryd
12 root 15 0 0 0 0 S 0.0 0.0 0:06.46 kjournald
55 root 19 0 0 0 0 S 0.0 0.0 0:00.00 kcopyd
398 root 18 0 496 496 428 S 0.0 0.0 0:00.01 portsentry
1179 root 15 0 0 0 0 S 0.0 0.0 0:00.00 eth0
1282 root 15 0 624 624 532 S 0.0 0.1 0:00.87 syslogd
1285 root 15 0 1404 1404 468 S 0.0 0.1 0:00.09 klogd

nobody erzeugt eine CPU Auslastung von 98%

Ich bin erstmalig mit meinen Latein am Ende

Mache mir grade grosse Sorgen an die Typo3 Perfomance Grenze zu stoßen. Bisher habe ich mit Typo3 "gelebt" - ich will dass nicht wahrhaben , es muss also eine Lösung geben....

Hinzuzufügen wäre, dass sich das Problem plötzlich ergeben hat. Es gab vorher wie nachher weder eine Installation noch sonsteine Veränderung - (ausser das Redakteure News gepostet haben)

Bitte helft mir...

liebe Grüsse,
haM

maxhb ·
hamraucher schrieb

jeder Zugriff verursacht kurzfristig eine CPU-Auslastung des httpd-Dienstes von 98,9% und es dauert ca. 5 - 10 sekunden bis eine Seite angezeigt werden kann. Umso mehr Zugriffe desto höher die CPU-Auslastung , umso länger dauert die Anzeige. So hat es bei regem Traffic mittlerweile schon bis zu mehr als eine minute gedauert, bis eine Seite zu sehen war.

Das die Last auf nahezu 100% steigt wundert mich nicht, PHP versucht natürlich möglichst viel CPU-Power abzubekommen, um schnell fertig zu werden.
Evtl. ist aber Euer Server einfach mit der Zahl der zugriffe überlastet. Was für ein Server ist das denn udn wie viele zugriffe habt Ihr so je Tag/ Monat?

Die Idee, den news-Cache zu deaktivieren ist prinzipiell für die Performanz gut, warum das bei Euch nichts brachte ....
Ergänzend kann man auf jeden Fall die Installation des TurckMM-Cache oder des Zend-Optimizers empfehlen, das bringt schon mal einiges.

CU
maxhb

hamraucher ·

Die Maschine ist folgendermaßen ausgestattet:

SuSe9.0 Server mit
Athlon XP 2200 CPU
512 GB RAM
ca. 60 GB HD

bisher gab es auch mit mehreren typos keine nennenswerten probleme...

es plagt mich sehr, denn wie gesagt, das problem ist plötzlich aufgetaucht

übrigens: ZEND ist installiert und funktioniert - mmTurck macht es auch nicht besser

immer noch sehr ratlos...

maxhb ·

Hi!
Gibt es einen Link und (vielleicht eine dumme Frage) ist Caching wirklich aktiviert?
Lass Dir doch mal die Parsetime der einzelnen Seiten per AdmPanel ausgeben, vielleicht ist das ganz aufschlussreich.

CU
maxhb

hamraucher ·

Die Seite: http://www.indynews.net- es handelt sich um eine politische Nachrichtenplattform (ein hobby meinerseits)...

Der NewsCache ist nun wieder deaktiviert - keine allzugroße Veränderung der Situation - (mit dem nachteil das nun die artikellinks wieder alle ewig lang sind)

hizuzufügen wäre, dass andere seiten(andere domains) im selben baum höchstens 0.8 - 9.0% CPU verbrauchen

knifflig...

maxhb ·
hamraucher schrieb

hizuzufügen wäre, dass andere seiten(andere domains) im selben baum höchstens 0.8 - 9.0% CPU verbrauchen

Das ist sehr merkwürdig ...

Was mich auch sehr wundert ist, dass selbst so etwas wie Euer terminkalender ziemlich lange braucht, bis er geladen ist. Ich würde fast wetten wollen, dass die Site überhaupt kein Cahing verwendet, weder für news, noch für sonstigen Content ...

CU
maxhb

hamraucher ·

meinst Du ich sollte die Site insgesamt Cachen (auch die News?)

bin seit donnerstag letzte woche an dem problem dran, heute habe ich mich erstmalig seit jahren dann erweicht doch mal ein posting zu hinterlassen - sehr knifflig das ganze...

dennoch bin ich nachwievor optimistisch das problem irgendwie gelöst zu bekommen - würde ja auch bedeuten, das die tt_news-Extention 1.7 bei über 1500 einträgen an die belastungsgrenze käme - dass mag ich nicht glauben o.O

übrigens: die zugriffszahlen sind schon ordentlich, aber lange nicht so massiv, dass der server in die knie gänge

lauter sone sachen... #giggle#

hamraucher ·

ist es denn möglich, dass typo3 doch grenzen hat, die bisher kaum, oder nur sehr selten in dieser form diskussion gefunden haben ??? letztendlich befürchte ich, dann doch nach jahren der entwicklung für aufwendige systeme auf typo3 verzichten zu müssen ... - was kein mensch wirklich will ! (und schon gar nicht wahrhaben)

bitte helft, sonst wäre das ein supergau... 😢

Meanwhile ·

bei deinem caching (?) problem kann ich dir leider nicht helfen.

betr. grenzen. jedes system hat seine grenzen. ich glaube jedoch nicht, dass diese bei dir mit deiner seite bereits erreicht sind.

als vergleich. wir haben auf folgendem system um die 40 typo3 installationen unter denen auch relativ grosse sites sind:
xeon 3.2ghz
1gb ram
2x 70gb scsi

also müsste doch eine install auf deinem server problemlos laufen. 1500 einträge sind für eine datenbank auch nicht wirklich viel.

grüsse

hamraucher ·

meine rede - absolut genau dass, was es ja so schwierig macht - ich gerate hier selbst erstmalig an eine entschiedene grenze meines schaffens und bin mächtig überfragt.

zudem ist auf dieser besagten maschine eben nur ein einzigstes typo3 vorhanden und weiss selbst: das kann nicht sein !

in meiner jehen verzweiflung habe ich in einer "nacht und nebel" aktion vorgestern dann den gesamten webserver komplett neuinstalliert - mit dem niederschmetternden ergebniss, dass das leider in dieser hinsicht nicht den geringsten erfolg versprach.
- bin mittlerweile bereit jedwede anstrengung wiederholt in kauf zu nehmen um dieses mittlerweile quälend leidende angelegenheit zu lösen

habe instenstivst überprüft:
-typoScript
-ZendOptimizer
-GDLib etc...

bin mir mittlerweile fast sicher , dass das irgendwas mit der tt_news extension zu tun hat.

mache seit jahren in Typo3 und hatte bisher niemals derarte schwierigkeiten , zumal, wie Du schon sagtest es auch rein physisch gar nicht sein kann, dass typo3 hier an seine grenzen gerät

ich mache mir ja nur sorgen, dass das irgendwann bei den 20 anderen typos auch irgendwann passiert und ich nicht schnell genug reagieren kann (support ist ja schließlich alles *lol*)

komplexes problem, ich find den fehler trotz intensivster recherche nicht 🙁

franka ·

Ok. Ihr könnt mich ruhig mit virtuellen Tomaten bewerfen, aber hast Du mal geschaut, was Dein Festplattendurchsatz auf dem Server sagt? Das kannst Du mit dem befehl hdparm testen.

Wenn der extrem klein ist, schau mal auf den DMA-Mode der Festplatte. Bei meinem SuSe 9.0 Server (wurde vom Provider als SuSe-Server-Installation ausgeliefert), war nach der Installation der DMA-Mode komplett deaktiviert. Die Aktivierung brachte dann eine Steigerung um den Faktor 10.

Was sich SuSe bei so einer Defaultkonfig gedacht hat, ist mir schleierhaft.

Frank

hamraucher ·

nach ewigem hin und her werde ich mal folgendes machen: ich mach ein backup und installiere den ganzen laden mal auf einen größeren server
-
da muss es klappen bzw. dann weiß ich, obs am server lag oder an einer falschen konfiguration im typo3

trotzdem, lieben dank für deinen tip 🙂

hamraucher ·

habe diese riesige typo3 website+datenbank eben gebackupt und auf einem 3500MhZ/2GB Ram Server gezogen. -> immernoch exakt selbes problem: 98% CPU 😢

kann also irgendiwe nicht am server oder seinen einstellungen liegen - der wurm ist woanders begraben o.O - wie gesagt, andere seiten in ein und demselben baum funktionieren prima... (tt_news datenbank ?)

werde mich nach nun zwei wochen weiter auf die suche begeben - irgendwie muss dieses problem eine lösung finden...

vielleicht fällt ja irgendwem noch was ein..

vielen dank bis dahin, 😉
haM .

barthel ·
hamraucher schrieb

habe diese riesige typo3 website+datenbank eben gebackupt und auf einem 3500MhZ/2GB Ram Server gezogen. -> immernoch exakt selbes problem: 98% CPU 😢

Schau doch mal in die Datenbank, ob in der tt_news Tabelle irgendein Index definiert ist bzw. indiziere die Tabelle mal neu... vielleicht ist der Index zerdonnert.

mit freundlichen Grüßen
Uwe Barthel

hamraucher ·

GANZ GENAU! dass MUSS es sein ! bin da gestern nacht noch ewig drann gesessen und ich vermute das dass genau irgendwas mit dem tt_news sql index zu tun haben muss.

noch folgende vorgeschichte: ich habe diese seite bisher mehrmals auf verschiedenen servern gehabt, bis ich es jetzt endlich providerunabhängig auf einem eigenen server unterbringen konnte. Ich habe die SQL jeweils gedumpt und es hat auch bisher immer hervorragend geklappt gehabt -

jetzt nochmal die frage: wie lässt sich ein kapuuter sql index reparieren (ich kann mich erinnern , ich habe das auch schon einmal versucht, da dass keine weiteren ergebnisse brachte, nicht wieder versucht)

jedenfalls bin ich mir zu fast 98% sicher , dass hier der wurm begraben liegt

lieben dank für den hinweis - ich hoffe dass sich das problem bald löst

ansonsten werde ich vermutlich die seite neu aufziehen müssen und die bestehenden inhalte separat als archiv auslesen lassen - wäre natürlich schön, es insgesamt geregelt zu bekommen

vielen lieben dank bis dahin,
liebe grüsse,
haM

barthel ·
hamraucher schrieb

jetzt nochmal die frage: wie lässt sich ein kapuuter sql index reparieren (ich kann mich erinnern , ich habe das auch schon einmal versucht, da dass keine weiteren ergebnisse brachte, nicht wieder versucht)

Anmelden im Backend.
PHPMyAdmin auswählen
tt_news auswählen
Unter Operationen (ist ein deutsches phpmyadmin ;-)) findest du z.B.: folgende Punkte:
# Überprüfe Tabelle [Dokumentation]
# Analysiere Tabelle [Dokumentation]
# Repariere Tabelle [Dokumentation]
# Optimiere Tabelle [Dokumentation]
# Leeren des Tabellenchaches ("FLUSH") [Dokumentation]

Ich würde alle nacheinander ausführen; von oben nach unter... und ebenso für die Tabellen tt_news_*
Ansonsten muß ich mir mal mein SQL Buch zur Hand nehmen, um dir den SQL String zum neuen Aufbau des Index stricken zu können ;-)

Ansonsten poste doch mal bitte die Daten, die unter Strucktur unterhalb der aufgelisteten Tabellenzellen stehen. Wie z.B.:

Indizes : [Dokumentation]
Name Typ Kardinalität Aktion Feld
PRIMARY PRIMARY 0 Bearbeiten Löschen uid
parent INDEX keine Bearbeiten Löschen pid

Index über Spalten anlegen
Speicherplatzverbrauch :
Typ Verbrauch
Daten 0 Bytes
Index 1.024 Bytes
Insgesamt 1.024 Bytes
Zeilenstatistik :
Angaben Wert
Format dynamisch
Zeilen 0
Nächste Autoindex 1
Erzeugt am 27. August 2004 um 19:45
Aktualisiert am 26. Oktober 2004 um 11:21
Letzter Check am 26. Oktober 2004 um 11:21

*

hamraucher ·

ahh: da bin ich schon wieder motivierter - habe das zwar gestern schon einmal gemacht - ohne ergebnis

dennoch wie von dir hingewiesen jetzt alle befehle wie angegeben nochmal ausgeführt. - (+ tt_news_cat etc..)

hier der auszug der structure anzeige der tt_news:

Structure tt_news

Indizes:

Name Typ Kardinalität Aktion Feld
PRIMARY PRIMARY 1029 uid
parent INDEX 38 pid

Speicherplatzverbrauch:
Typ Verbrauch
Daten 4.826 KB
Index 21.504 Bytes
Insgesamt 4.847 KB

Zeilenstatistik:
Angaben Wert
Format dynamisch
Zeilen 1.029
Zeilenlänge ø 4.802
Zeilengröße ø 4.824 Bytes
Nächste Autoindex 1.066
Erzeugt am 11. Oktober 2004 um 21:51
Aktualisiert am 26. Oktober 2004 um 11:40
Letzter Check am 26. Oktober 2004 um 11:40

...sehe ein kleines flämmlein leuchten in düsterer röhre *lol*

vor deinem posting hatte ich mich mit "myisamchk" beschäftigt - bisher aber leider auch ergebnislos...

thx🙂

barthel ·
hamraucher schrieb

ahh: da bin ich schon wieder motivierter - habe das zwar gestern schon einmal gemacht - ohne ergebnis

http://dev.mysql.com/doc/mysql/en/CHECK_TABLE.html

CHECK TABLE tt_news EXTENDED

http://dev.mysql.com/doc/mysql/en/ANALYZE_TABLE.html

http://dev.mysql.com/doc/mysql/en/MyISAM_table_problems.html

REPAIR TABLE tt_news EXTENDED

http://dev.mysql.com/doc/mysql/en/OPTIMIZE_TABLE.html

OPTIMIZE TABLE tt_news

Einige der Operationen werden ziemlich lange dauern, da EXTENDED wirklich VIEL zu tun hat.

Sollte sich nach diesen Oerationen auf allen beteiligten Tabellen nichts verändern, würde ich sagen, die Datenbank kann man als Flaschenhals ausklammern.

Wie sieht es mit dem loggen aus ?
Ist vielleicht das log file voll und er muß andauernd rotieren ?

hamraucher ·

hui - klingt wirklich vielsversprechend - ich werde das mal alles checken

logfiles sind zu beginn (vor zwei wochen) eigentlich weitegehnd überprüft worden - ist aber ne option, vielleicht habe ich was übersehen

werde mich darauf gleich wieder melden,

bis dahin,
superlieben und verbundenen dank 🙂

haM .