Zum Inhalt springen

Knifflig: Typo3 verursacht plötzlich enorme CPU Belastung

Erstellt am 13. Oktober 2004 · 48 Antworten · letzte Antwort am 14. Januar 2005 · Seite 1 von 3

Tags: tt_news, Cache & Performance, Frage

maxhb ·

Hi!
Gibt es einen Link und (vielleicht eine dumme Frage) ist Caching wirklich aktiviert?
Lass Dir doch mal die Parsetime der einzelnen Seiten per AdmPanel ausgeben, vielleicht ist das ganz aufschlussreich.

CU
maxhb

hamraucher ·

Die Seite: http://www.indynews.net- es handelt sich um eine politische Nachrichtenplattform (ein hobby meinerseits)...

Der NewsCache ist nun wieder deaktiviert - keine allzugroße Veränderung der Situation - (mit dem nachteil das nun die artikellinks wieder alle ewig lang sind)

hizuzufügen wäre, dass andere seiten(andere domains) im selben baum höchstens 0.8 - 9.0% CPU verbrauchen

knifflig...

maxhb ·
hamraucher schrieb

hizuzufügen wäre, dass andere seiten(andere domains) im selben baum höchstens 0.8 - 9.0% CPU verbrauchen

Das ist sehr merkwürdig ...

Was mich auch sehr wundert ist, dass selbst so etwas wie Euer terminkalender ziemlich lange braucht, bis er geladen ist. Ich würde fast wetten wollen, dass die Site überhaupt kein Cahing verwendet, weder für news, noch für sonstigen Content ...

CU
maxhb

hamraucher ·

meinst Du ich sollte die Site insgesamt Cachen (auch die News?)

bin seit donnerstag letzte woche an dem problem dran, heute habe ich mich erstmalig seit jahren dann erweicht doch mal ein posting zu hinterlassen - sehr knifflig das ganze...

dennoch bin ich nachwievor optimistisch das problem irgendwie gelöst zu bekommen - würde ja auch bedeuten, das die tt_news-Extention 1.7 bei über 1500 einträgen an die belastungsgrenze käme - dass mag ich nicht glauben o.O

übrigens: die zugriffszahlen sind schon ordentlich, aber lange nicht so massiv, dass der server in die knie gänge

lauter sone sachen... #giggle#

hamraucher ·

ist es denn möglich, dass typo3 doch grenzen hat, die bisher kaum, oder nur sehr selten in dieser form diskussion gefunden haben ??? letztendlich befürchte ich, dann doch nach jahren der entwicklung für aufwendige systeme auf typo3 verzichten zu müssen ... - was kein mensch wirklich will ! (und schon gar nicht wahrhaben)

bitte helft, sonst wäre das ein supergau... 😢

Meanwhile ·

bei deinem caching (?) problem kann ich dir leider nicht helfen.

betr. grenzen. jedes system hat seine grenzen. ich glaube jedoch nicht, dass diese bei dir mit deiner seite bereits erreicht sind.

als vergleich. wir haben auf folgendem system um die 40 typo3 installationen unter denen auch relativ grosse sites sind:
xeon 3.2ghz
1gb ram
2x 70gb scsi

also müsste doch eine install auf deinem server problemlos laufen. 1500 einträge sind für eine datenbank auch nicht wirklich viel.

grüsse

hamraucher ·

meine rede - absolut genau dass, was es ja so schwierig macht - ich gerate hier selbst erstmalig an eine entschiedene grenze meines schaffens und bin mächtig überfragt.

zudem ist auf dieser besagten maschine eben nur ein einzigstes typo3 vorhanden und weiss selbst: das kann nicht sein !

in meiner jehen verzweiflung habe ich in einer "nacht und nebel" aktion vorgestern dann den gesamten webserver komplett neuinstalliert - mit dem niederschmetternden ergebniss, dass das leider in dieser hinsicht nicht den geringsten erfolg versprach.
- bin mittlerweile bereit jedwede anstrengung wiederholt in kauf zu nehmen um dieses mittlerweile quälend leidende angelegenheit zu lösen

habe instenstivst überprüft:
-typoScript
-ZendOptimizer
-GDLib etc...

bin mir mittlerweile fast sicher , dass das irgendwas mit der tt_news extension zu tun hat.

mache seit jahren in Typo3 und hatte bisher niemals derarte schwierigkeiten , zumal, wie Du schon sagtest es auch rein physisch gar nicht sein kann, dass typo3 hier an seine grenzen gerät

ich mache mir ja nur sorgen, dass das irgendwann bei den 20 anderen typos auch irgendwann passiert und ich nicht schnell genug reagieren kann (support ist ja schließlich alles *lol*)

komplexes problem, ich find den fehler trotz intensivster recherche nicht 🙁

franka ·

Ok. Ihr könnt mich ruhig mit virtuellen Tomaten bewerfen, aber hast Du mal geschaut, was Dein Festplattendurchsatz auf dem Server sagt? Das kannst Du mit dem befehl hdparm testen.

Wenn der extrem klein ist, schau mal auf den DMA-Mode der Festplatte. Bei meinem SuSe 9.0 Server (wurde vom Provider als SuSe-Server-Installation ausgeliefert), war nach der Installation der DMA-Mode komplett deaktiviert. Die Aktivierung brachte dann eine Steigerung um den Faktor 10.

Was sich SuSe bei so einer Defaultkonfig gedacht hat, ist mir schleierhaft.

Frank

hamraucher ·

nach ewigem hin und her werde ich mal folgendes machen: ich mach ein backup und installiere den ganzen laden mal auf einen größeren server
-
da muss es klappen bzw. dann weiß ich, obs am server lag oder an einer falschen konfiguration im typo3

trotzdem, lieben dank für deinen tip 🙂

hamraucher ·

habe diese riesige typo3 website+datenbank eben gebackupt und auf einem 3500MhZ/2GB Ram Server gezogen. -> immernoch exakt selbes problem: 98% CPU 😢

kann also irgendiwe nicht am server oder seinen einstellungen liegen - der wurm ist woanders begraben o.O - wie gesagt, andere seiten in ein und demselben baum funktionieren prima... (tt_news datenbank ?)

werde mich nach nun zwei wochen weiter auf die suche begeben - irgendwie muss dieses problem eine lösung finden...

vielleicht fällt ja irgendwem noch was ein..

vielen dank bis dahin, 😉
haM .

barthel ·
hamraucher schrieb

habe diese riesige typo3 website+datenbank eben gebackupt und auf einem 3500MhZ/2GB Ram Server gezogen. -> immernoch exakt selbes problem: 98% CPU 😢

Schau doch mal in die Datenbank, ob in der tt_news Tabelle irgendein Index definiert ist bzw. indiziere die Tabelle mal neu... vielleicht ist der Index zerdonnert.

mit freundlichen Grüßen
Uwe Barthel

hamraucher ·

GANZ GENAU! dass MUSS es sein ! bin da gestern nacht noch ewig drann gesessen und ich vermute das dass genau irgendwas mit dem tt_news sql index zu tun haben muss.

noch folgende vorgeschichte: ich habe diese seite bisher mehrmals auf verschiedenen servern gehabt, bis ich es jetzt endlich providerunabhängig auf einem eigenen server unterbringen konnte. Ich habe die SQL jeweils gedumpt und es hat auch bisher immer hervorragend geklappt gehabt -

jetzt nochmal die frage: wie lässt sich ein kapuuter sql index reparieren (ich kann mich erinnern , ich habe das auch schon einmal versucht, da dass keine weiteren ergebnisse brachte, nicht wieder versucht)

jedenfalls bin ich mir zu fast 98% sicher , dass hier der wurm begraben liegt

lieben dank für den hinweis - ich hoffe dass sich das problem bald löst

ansonsten werde ich vermutlich die seite neu aufziehen müssen und die bestehenden inhalte separat als archiv auslesen lassen - wäre natürlich schön, es insgesamt geregelt zu bekommen

vielen lieben dank bis dahin,
liebe grüsse,
haM

barthel ·
hamraucher schrieb

jetzt nochmal die frage: wie lässt sich ein kapuuter sql index reparieren (ich kann mich erinnern , ich habe das auch schon einmal versucht, da dass keine weiteren ergebnisse brachte, nicht wieder versucht)

Anmelden im Backend.
PHPMyAdmin auswählen
tt_news auswählen
Unter Operationen (ist ein deutsches phpmyadmin ;-)) findest du z.B.: folgende Punkte:
# Überprüfe Tabelle [Dokumentation]
# Analysiere Tabelle [Dokumentation]
# Repariere Tabelle [Dokumentation]
# Optimiere Tabelle [Dokumentation]
# Leeren des Tabellenchaches ("FLUSH") [Dokumentation]

Ich würde alle nacheinander ausführen; von oben nach unter... und ebenso für die Tabellen tt_news_*
Ansonsten muß ich mir mal mein SQL Buch zur Hand nehmen, um dir den SQL String zum neuen Aufbau des Index stricken zu können ;-)

Ansonsten poste doch mal bitte die Daten, die unter Strucktur unterhalb der aufgelisteten Tabellenzellen stehen. Wie z.B.:

Indizes : [Dokumentation]
Name Typ Kardinalität Aktion Feld
PRIMARY PRIMARY 0 Bearbeiten Löschen uid
parent INDEX keine Bearbeiten Löschen pid

Index über Spalten anlegen
Speicherplatzverbrauch :
Typ Verbrauch
Daten 0 Bytes
Index 1.024 Bytes
Insgesamt 1.024 Bytes
Zeilenstatistik :
Angaben Wert
Format dynamisch
Zeilen 0
Nächste Autoindex 1
Erzeugt am 27. August 2004 um 19:45
Aktualisiert am 26. Oktober 2004 um 11:21
Letzter Check am 26. Oktober 2004 um 11:21

*

hamraucher ·

ahh: da bin ich schon wieder motivierter - habe das zwar gestern schon einmal gemacht - ohne ergebnis

dennoch wie von dir hingewiesen jetzt alle befehle wie angegeben nochmal ausgeführt. - (+ tt_news_cat etc..)

hier der auszug der structure anzeige der tt_news:

Structure tt_news

Indizes:

Name Typ Kardinalität Aktion Feld
PRIMARY PRIMARY 1029 uid
parent INDEX 38 pid

Speicherplatzverbrauch:
Typ Verbrauch
Daten 4.826 KB
Index 21.504 Bytes
Insgesamt 4.847 KB

Zeilenstatistik:
Angaben Wert
Format dynamisch
Zeilen 1.029
Zeilenlänge ø 4.802
Zeilengröße ø 4.824 Bytes
Nächste Autoindex 1.066
Erzeugt am 11. Oktober 2004 um 21:51
Aktualisiert am 26. Oktober 2004 um 11:40
Letzter Check am 26. Oktober 2004 um 11:40

...sehe ein kleines flämmlein leuchten in düsterer röhre *lol*

vor deinem posting hatte ich mich mit "myisamchk" beschäftigt - bisher aber leider auch ergebnislos...

thx🙂

barthel ·
hamraucher schrieb

ahh: da bin ich schon wieder motivierter - habe das zwar gestern schon einmal gemacht - ohne ergebnis

http://dev.mysql.com/doc/mysql/en/CHECK_TABLE.html

CHECK TABLE tt_news EXTENDED

http://dev.mysql.com/doc/mysql/en/ANALYZE_TABLE.html

http://dev.mysql.com/doc/mysql/en/MyISAM_table_problems.html

REPAIR TABLE tt_news EXTENDED

http://dev.mysql.com/doc/mysql/en/OPTIMIZE_TABLE.html

OPTIMIZE TABLE tt_news

Einige der Operationen werden ziemlich lange dauern, da EXTENDED wirklich VIEL zu tun hat.

Sollte sich nach diesen Oerationen auf allen beteiligten Tabellen nichts verändern, würde ich sagen, die Datenbank kann man als Flaschenhals ausklammern.

Wie sieht es mit dem loggen aus ?
Ist vielleicht das log file voll und er muß andauernd rotieren ?

hamraucher ·

hui - klingt wirklich vielsversprechend - ich werde das mal alles checken

logfiles sind zu beginn (vor zwei wochen) eigentlich weitegehnd überprüft worden - ist aber ne option, vielleicht habe ich was übersehen

werde mich darauf gleich wieder melden,

bis dahin,
superlieben und verbundenen dank 🙂

haM .

hamraucher ·

so, habe jetzt alle befehle wie oben beschrieben versucht über phpMyAdmin auszuführen (und hoffe dass ich das so richtig gemacht habe) - ging trotz hinweis alles sehr schnell, wahrscheinlich weil in der tt_news alles in ordnung zu sein scheint. SQL meldet jedenfalls: alles ok!

jetzt wirds schon wieder perspektivlos, denn: wenn ich die tt_news extension nämlich deaktiviere, läufts wie geschmiert

in sachen logfiles lässt sich nichts nennenswertes berichten

teste SQL nochmal mit anderen möglicherweise dafür in frage kommenden tables durch (tx_rlmpeventdb_events etc... )

barthel ·
hamraucher schrieb

teste SQL nochmal mit anderen möglicherweise dafür in frage kommenden tables durch (tx_rlmpeventdb_events etc... )

Das wäre der nächste Schritt...
Schauen, ob ein abhängiges Modul der Engpaß ist.

Bzw. holt das news Plugin alle Entries auf einmal oder hast du die Anzahl der darzustellenden Entries begrenzt ?
Hast du mal versucht alle caching Instanzen (z.B.: turckMMCache usw.) auszumachen ?
Wie sieht es aus mit der Tabelle für den URL Cache ?
Hast die mal überprüft ?

hamraucher ·

Habe jetzt nicht nur alle abhängigen extensions überprüft sondern die ganze datenbank mit EXTENDED gecheckt

Bzw. holt das news Plugin alle Entries auf einmal oder hast du die Anzahl der darzustellenden Entries begrenzt ?

Wenn damit die anzahl darzustellender news gemeint ist, ja

Hast du mal versucht alle caching Instanzen (z.B.: turckMMCache usw.) auszumachen ?

turckMMCache ist im nachhinein erst installiert worden - aufgrund dieser problematik

Wie sieht es aus mit der Tabelle für den URL Cache ?
Hast die mal überprüft ?

ich denke ja, ich habe alle caches gelöscht , vor allem auch die md5Params tabelle überprüft

(habe woanders gelesen das es auch eine "hash collision" geben kann....)

irgendwie tückische krankheit...

nochmal tt_news 1.7 abhängige extensions:
rlmp eventlkalender
FEU news submitter

...wenn ich die extensions im extManager entferne, keine änderung der situation
...wenn ich tt_news extension dort entferne alles wieder in ordnung

zusätzlich habe ich vorrübergehend alle db_inhalte des rlmp eventkalenders gelöscht - keine änderung der situation

megaverflixt das ganze...