Ich habe die Informationen über eine schlanke Indexsuche
(#63315) beherzigt,
aber irgendwie liessen sich viele GET-Parameter nicht vermeiden.
Da man nicht angeben kann, dass diese oder jene URLs mit verschiedenen GET-Parametern
nicht indexiert werden sollen, lieferte die Suchmaschine immer imens viele
gleiche Seiten (wo nur unwichtige GET-Parameter anders waren).
Das fand ich störend und habe deshalb einen CronJob geschrieben, der unnötigen Müll aus dem Index wieder rauslöscht:
$rec = 0;
$lastCHash = '';
$phashArray = array();
$db->query("SELECT contentHash, phash, data_page_id, item_title, item_description FROM index_phash ORDER BY data_page_id, contenthash, cHashParams");
while ($row = $db->data()) {
if ($row[0] == $lastCHash) {
$phashArray[$rec] = $row[1];
$rec++;
}
$lastCHash = $row[0];
}
for ($i = 0; $i < count ($phashArray); $i++) {
$db->query("DELETE FROM index_rel WHERE pHash=".$phashArray[$i]);
$db->query("DELETE FROM index_fulltext WHERE pHash=".$phashArray[$i]);
$db->query("DELETE FROM index_grlist WHERE pHash=".$phashArray[$i]);
$db->query("DELETE FROM index_section WHERE pHash=".$phashArray[$i]);
$db->query("DELETE FROM index_phash WHERE pHash=".$phashArray[$i]);
}
$back = "$rec Eintraege wurden aus dem Index geloescht.\n";
Haltet ihr das für sinnvoll? Da werden jedes mal tausende doppelte Einträge gelöscht.
Habt ihr bessere Ideen oder würdet ihr das auch so machen?