Hallo,
ich arbeite an einem PHP-Skript, dass, mir automatisch Content-Seiten generiert.
Das können bis zu 25.000 (!) Seiten werden.
Können so viele Seiten Performance-Probleme im Backend oder im Frontend hervorrrufen?
Wie verhält sich der Seitenbaum im BE bei so vielen Seiten?
Gruss,
Floater
Hallo Floater
Sofern Dein Webserver entsprechend viele Zugriffe von Besuchern handeln kann sehe ich da keine Schwierigkeiten. Wir haben Kunden mit ähnlich vielen Seiten und da läuft dies gut.
Da der Seitenbaum nun mit Ajax funktioniert, dürften auch dort keine Probleme auftauchen.
Veilleicht kannst Du mit ein paar Datenbank-Indizies oder ähnlichem die Performance noch optimieren. Entsprechende Links dazu findest Du sicherlich leicht bei Google.
Gruss
Markus
PS: Caching nicht deaktivieren! 🙂
kein problem, habe projekte mit mehr Seiten laufen. Wichtig ist halt eben das Caching beachten. Ausschalten ist schon auch ok - dann aber nur wenn man weiß was man tut 😉
vielen dank für eure antworten.
gruß,
floater
Hallo,
ich habe ein Skript durchlaufen lassen, welches mir 800 Seiten inklusive eigener RealURLs generiert.
Im Backend sowie im Frontend traten keinerlei Probleme auf.
Nun habe ich 20000 Seiten generieren lassen.
Das Backend funktioniert fehlerfrei. Allerdings lädt sich das Frontend nicht mehr.
Gelegentlich erscheint die Fehlermeldung
Allowed memory size of 268435456 bytes exhausted (tried to allocate 2620594 bytes) in /srv/www/typo3_src-4.2.8/typo3/sysext/cms/tslib/class.tslib_menu.php on line 875
Die 20000 Seiten sind so eingestellt, dass diese im Menü erscheinen sollen (- was eigentlich nicht schön aussieht und sehr unübersichtlich ist, aber es ist ja erstmal nur eine Testumgebung).
Dann habe ich die Seiten so eingestellt, dass diese im Menü verborgen sein sollen. Da hat sich das FE auch ewig geladen, die Seite wurde nicht angezeigt.
Es erschien die Fehlermeldung
Fatal error: Maximum execution time of 30 seconds exceeded in /srv/www/typo3_src-4.2.8/t3lib/class.t3lib_db.php on line 809
Hat jemand Tipps, was ich da machen kann?
Oder sind 20000 Seiten für Typo3 doch zuviel?
Noch eine Frage:
Wenn eine Seiten so eingestellt ist, dass sie im Menü verborgen ist und innerhalb Typo3 nicht auf so eine Seite verlinkt wird,
ist diese Seite dann für Typo3 unbekannt, wenn ich diese (mit RealUrl) aufrufe?
Gruß,
Floater
Hallo Floater
ist kein Typo3 Problem. Liegt an den Einstellungen in der PHP ini. Dort Ausführungszeit für Scripte erhöhen. Ebenso den erlaubten Speicher
LG
Cope
Habe die Werte mal erhöht.
Aber trotdem werden die Seiten sehr langsam geladen. Das dauert zu lange.
Kann man da irgendwas optimieren oder Sonstiges machen?
Gruß,
Floater
naja gibst du immer noch 20k Seiten in einem Menü aus??
ansonsten hab ich auch Websites mit mehr Seiten erstellt und das läuft produktiv. An TYPO3 liegts IMO nicht
georg
hallo,
ich arbeite gerade mit generierten 10000 seiten.
die haben alle die eigenschaft "im menü verbergen".
in meiner htaccess habe ich folgendes eingetragen:
php_value max_execution_time 900
php_value memory_limit 960M
dioe startseite lädt sich schon seit fast 5 minuten ohne irgendetwas anzuzeigen.
was lässt du auf der startseite ausgeben? was sagt phpinfo für ein memory_limit?
Hast du denn in deinen Projekten mit mehreren Seiten die Seiten automatisch generieren lassen oder alle nach und nach per Hand angelegt?
phpinfo gibt mir - wie ich es in der htaccess eingestellt habe - memory_limit : 960M aus.
Auf den Seiten lasse ich mir nur Beispiel-Text ausgeben, die Menüs enthalten maximal 11 Seiten (Top- und Footer-Menü)
Floater schrieb
Hast du denn in deinen Projekten mit mehreren Seiten die Seiten automatisch generieren lassen oder alle nach und nach per Hand angelegt?
automatisch über einen importer
Ich habe mal nach Preformance bei Typo3 gegoogelt.
Da wird natürlich der ein oder andere Tipp genannt.
Z.B. [FE][pageCacheToExternalFiles] = 1 oder [SYS][no_pconnect] = 1 in der Konfiguration setzen.
An anderer Stelle werden extra Extensions genannt, z.B. "dmc_highPerformance".
Hast Du denn noch irgendwelche Extensions installiert oder Einstellungen in der Konfiguration vorgenommen um die Perfprmance zu steigern?
Nebenbei: hier ist gerade wieder der Server bei 6000 Seiten abgeschmiert.
In der Error-Log steht fogendes:
ALERT - script tried to increase memory_limit to 1476395008 bytes which is above the allowed value
(attacker 'REMOTE_ADDR not set', file 'unknown')
Auf dem Server haben wir zig andere (nicht ganz so grosse) Typo3-Projekte laufen. Es liegt allein an der Masse der Seiten, die aus irgendeinem Grunde Probleme macht.
Ich verstehe nicht, warum eine Seite ewig lädt. Weil jeder aufgerufenen Seite kann es doch egal sein wieviel Seiten die Homepage hat.
Gruß,
Floater
Oder kann es an den Extensions realUrl und/oder TemplaVoila liegen?
habe realurl im einsatz, ging aber auch ohne, auch ohne performance extension
Nutzt Du auch TemplaVoila in dem grossen Projekt?
Ich habe den Verdacht, dass es am Templa Voila liegt.
Ich habe mal RealUrl deinstalliert.
Nachdem ich das Frontend aufgerufen habe, hat sich die Startseite sehr langsam geladen. Ich habe eine weitere Seite (z.B. Kontakt) aufgerufen. Auch die hat sich sehr langsam geladen.
Obwohl es länger gedauert hat, haben sich die Seiten immerhin geladen.
Ein zweites Aufrufen der Seiten ließ die Seiten wesentlich schneller laden.
Mit wieder installierter RealURL dauert das ganze wesentlich länger.
Kann es auch mit den Seiten- und RealUrl-Caches irgendwie zusammen hängen?
Bei meinem Seitenimport fülle ich folgende Tabellen:
* INSERT INTO `pages` ...
(Seiten anlegen)
* INSERT INTO `tx_realurl_pathcache` ...
(Url eintragen)
* INSERT INTO `tt_content` ...
(Seiten-Inhalt einfüllen)
* UPDATE `pages` SET `tx_templavoila_flex`
(XML <T3FlexForms> ... mit der Content-ID updaten)
* TRUNCATE TABLE `tx_realurl_urldecodecache`
* TRUNCATE TABLE `tx_realurl_urlencodecache`
Hier fülle ich keine Seiten-Caches.
Kann da eventuell das Problem liegen?
Hast Du bei Deinem Import Cashe-Tabellen gefüllt?
Ist die Einstellung "[FE][pageCacheToExternalFiles] = 1" im Install-Tool in diesem Zusammenhang sinnvoll?
Gruß,
Floater
Hallo,
wer hat denn ähnliche Erfahrungen gemacht?
Viele Grüße,
Floater
Hallo,
mein Problem bzgl. Seitengenerierung habe ich immer noch nicht gelöst.
Der Stand ist folgender:
25.000 Seiten sollen generiert werden.
In einer Schleife wird eine Seite erstellt, anschliessend mit file(implode(...)) aufgerufen um den Seitencache automatisch zu generieren.
Das Skript hat nach 10 Stunden erst ca. 4.500 Seiten generiert, was definitiv zu langsam ist.
Anfangs lief es zügig, je mehr Seiten es wurden um so langsamer.
Ich hatte alle Datenbank-Tabellen vom Typ InnoDB zu MyISAM geändert.
Leider ohne gravierenden Erfolg.
Jetzt habe ich in meinem TS-Template die eingebundenen TS für die Menüs rausgenommen. Plötzlich werden wesentlich schneller Seiten generiert, innerhalb weniger Minuten über 1000.
Das bedeutet, dass irgendetwas an den Menüs die Cache-Generierung verlangsamt, je mehr Seiten erstellt werden. Die generierten Seiten sind vom Typ "im Menü verborgen".
Während der Generierung lösche ich gelegentlich die Tabelle "cache_hash", da sich diese ansonsten aufbläht.
Hat diesbezüglich jemand eine Idee, wie ich das lösen kann?
Gruß,
Floater