Zum Inhalt springen

Vermeiden/löschen von doppelten Suchergebnissen

Erstellt am 26. August 2009 · 2 Antworten · letzte Antwort am 27. August 2009

Tags: Datenbank, Suche, Frage

intensivstation ·

Ich habe die Informationen über eine schlanke Indexsuche
(#63315) beherzigt,
aber irgendwie liessen sich viele GET-Parameter nicht vermeiden.
Da man nicht angeben kann, dass diese oder jene URLs mit verschiedenen GET-Parametern
nicht indexiert werden sollen, lieferte die Suchmaschine immer imens viele
gleiche Seiten (wo nur unwichtige GET-Parameter anders waren).
Das fand ich störend und habe deshalb einen CronJob geschrieben, der unnötigen Müll aus dem Index wieder rauslöscht:

	$rec = 0;
	$lastCHash = '';
	$phashArray = array();
	$db->query("SELECT contentHash, phash, data_page_id, item_title, item_description FROM index_phash ORDER BY data_page_id, contenthash, cHashParams");
	while ($row = $db->data())  {
		if ($row[0] == $lastCHash) {
			$phashArray[$rec] = $row[1];
			$rec++;
		}
		$lastCHash = $row[0];
	}
	for ($i = 0; $i < count ($phashArray); $i++) {
		$db->query("DELETE FROM index_rel WHERE pHash=".$phashArray[$i]);
		$db->query("DELETE FROM index_fulltext WHERE pHash=".$phashArray[$i]);
		$db->query("DELETE FROM index_grlist WHERE pHash=".$phashArray[$i]);
		$db->query("DELETE FROM index_section WHERE pHash=".$phashArray[$i]);
		$db->query("DELETE FROM index_phash WHERE pHash=".$phashArray[$i]);
	}
	$back = "$rec Eintraege wurden aus dem Index geloescht.\n";

Haltet ihr das für sinnvoll? Da werden jedes mal tausende doppelte Einträge gelöscht.
Habt ihr bessere Ideen oder würdet ihr das auch so machen?

Julian.​Hofmann ·

Hallo.

In einigen Fällen klappt es, dass Du via Condition solche Dopplungen auffängst und index_enable im TS deaktivierst.
Ist aber wohl nur sinnvoll, wenn es eher Einzelfälle sid und wenn keine neuen Fälle durch Redakteure generiert werden können.

Viele Grüße
Julian

intensivstation ·

OK, das mit den Conditions ist auch eine gute Idee, aber ich habe das Hauptproblem nun gefunden und eliminiert. Es lag an dieser TS-Zeile:

linkVars = type, tx_ttnews, cHash

Das war natürlich großer Quatsch :o