Es kann sein, dass es langsamer wird, wenn Google seine Spider aufs Forum loslässt.

Die Spider hab ich gerade (hoffentlich) auf das Archiv (das offizielle, nicht unser eigenes) mittels einer robots.txt umgeleitet ;)

Tja, das mag ja schon was bringen bei ner normalen Seite, aber nicht hier wo die HTML-Seite so riesig ist.

@MerlinSt: Falls das ein Posting zum topic ist - erst lesen, dann posten ;)

@Upgrade: weis nich genau obs was gebracht hat, aber es is jedenfalls immernoch tierisch lahm ;)

heute morgen waren im Forum wieder google Spider unterwegs. Die haben sich nicht auf das irgendein Archiv beschränkt.
Ich denke die verursachen eine Menge Traffic, wenn die immer wieder die riesigen HTML-Seiten saugen.

Es halten sich auch nicht alle Suchmaschinen an die Vorgaben der robots.txt.
Google allerdings sollte sich allerdings dran halten (Lycos macht es nicht....)

Im Archiv sind Links auf die Orignialbeiträge. Diese werden mit dem script "showthread.php" geöffnet, das aber nicht in der disallow-Section der robots.txt aufgeführt ist.

Jeder gültige link, der nicht durch die robots.txt verboten ist, wird von google verfolgt. ;)

Nein, die Beiträge im 'Archiv' werden durch eine eigene Routine geöffnet, das hat nichts mit der Showthread zu tun.
Aber die hatte ich in der robots.txt wohl vergessen, thx für den Hinweis ;)

Könnte man eigenltich nicht Kompression oder so anschalten? Sollte doch bei HTML-Seiten einiges bringen... Würde zwar wohl den Prozessor mehr belasten, aber ich weis ja nicht wie's gerade mit dem Traffic aussieht...