Hallo!!
habe jetzt einige Zeit lang versucht die crawler Extension anständig ans Laufen zu bekommen ... leider ohne Erfolg.
Wenn ich den Crawler installiere und konfiguriere sieht alles noch sehr gut aus. Er findet die Seiten und erstellt mir auch die URL's dazu. Diese füge ich dann zum Crawlen hinzu und über "CLI-Status" starte ich den Crawlvorgang aus dem Backend heraus. Danach braucht er zwischen 50 und 55 Sekunden bis dieser Vorgang beendet ist.
Im crawler log finde ich dann allerdings folgende Fehlermeldung:
Error: Authentication required! Authentication required! This server could not verify that you are authori...
[weiter lässt sie sich nicht lesen, weil die Spalte zu Ende ist!?]
Habe leider absolut keine Ahnung, woran das liegen könnte und hoffe dass mir jemand helfen kann ...
Noch eine kleine Anmerkung: Besuche ich die Seiten im Frontend, werden sie ohne Problem indexiert.
Grüße