Live.com Referrer Spam? Was steckt dahinter?
Juli 10, 2008 by Markus
Hast Du vielleicht auch schon in Deinen Statistiken diese merkwürdigen Suchbegriffe gesehen, die angeblich auf der Microsoft Suchmaschine Live.com getätigt wurden? Schon seit einiger Zeit ruft der Bot des Softwareriesen Blogs und Internetseiten auf und übermittelt dabei dubiose Suchbegriffe, die suggerieren, man sei bei populären Suchanfragen auf der ersten Seite der live.com Suchmaschine
Obwohl dieser Blog hier noch gar nicht so lange dabei ist und auch – im Vergleich zu anderen Blogs – noch nicht so viel Content zu bieten hat, besucht mich der search.live.com Bot regelmäßig, wie ich meinen Logs entnehmen konnte
Bild Quelle: Freezelight | Lizenz
65.55.109.48 – - [07/Jul/2008:11:41:43 +0200] “GET /category/blogoptimierung/links/ HTTP/1.0″ 200 23488 “http://search.live.com/results.aspx?q=links&form=QBHP” “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)”
65.55.110.61 – - [06/Jul/2008:00:32:50 +0200] “GET /2008/05/21/geld-oder-hobby-warum-bloggst-du/ HTTP/1.0″ 200 65327 “http://search.live.com/results.aspx?q=hobby&form=QBHP” “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)”
65.55.109.94 – - [05/Jul/2008:08:11:10 +0200] “GET /2008/04/29/web-20-ideenklau-oder-bin-nur-ich-paranoid/ HTTP/1.0″ 200 41646 “http://search.live.com/results.aspx?q=paranoid&form=QBHP” “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)”
Viele, die den live.com Bot noch nicht kennen, werden wahrscheinlich erst einmal positiv überrascht sein:
“Was? Ich bin in den TOP Suchergebnissen mit dem Keyword links, hobby oder paranoid vertreten?”.
Die Enttäuschung setzt aber schnell ein, wenn der Link zur Suchmaschine, mit dem entsprechenden Keyword geöffnet wird und man sieht, dass man natürlich selber nicht dort vertreten ist.
Woher kommen diese Anfragen?
Nach einer kurzen ARIN WHOIS IP Recherche, findet man schnell heraus, dass sämtliche IPs nicht etwa einem “normalen Spammer” gehören, sondern Micorosft höchstpersönlich
  |
Anfragen schädigen Statistiken
Wer gerne WordPress Plugins wie Semmelstatz nutzt, kann sich nicht mehr wirklich auf die Daten verlassen. Denn der Microsoft Live Bot ruft die Seite ungefähr so auf, wie ein normaler Besucher und dann auch noch so, als würde er von der live.com Suchmaschine stammen.
Der (englische) Blog Smackdown berichtet sogar, dass der Bot auch das AdSense Script öffnet und so durch vermehrte Seitenaufrufe Werbende und Werbetreibende schädigt. Mehr zu dieser Problematik später.
So ironisch wie es auch klingen mag, ein Weg diese falschen Statistiken zu umgehen, liegt darin, die Daten über Google Analytics erfassen zu lassen. Wenn man es so sehen will, schickt Microsoft die Webseitenbetreiber also direkt zum ärgsten Konkurrenten im Internetbereich.
Warum eigentlich?
Der Grund, warum Microsoft diese Technik anwendet ist, dass Cloaking verhindert werden soll.
Durch Cloaking, werden Bots einer Suchmaschine ein anderer Inhalt angezeigt, als dem richtigen Besucher der Seite. Es gibt Methoden in denen diese Technik im “positiven” Sinn verwendet wird, zum Beispiel um das Durchsuchen von Inhalten der großen (US) Newsseiten zu ermöglich, die dann aber im Endeffekt für den echten, normalen Besucher kostenpflichtig sind.
Oder auch mit negativen Absichten, bei denen dem Suchmaschinen-Bot nur Texte mit Keywords auf der Seite angezeigt werden, dem Benutzer aber zum Beispiel ausschließlich nervende Flash Werbung.
Mittlerweile gibt es ein offizielles Statement
Was die wenigsten wissen ist, dass nach den ganzen Beschwerden in Foren oder direkt an Microsoft schon auf einem MSDN Blog im Dezember letzten Jahres ein offizielles Statement zu diesem Thema veröffentlicht wurde.
Darin wird den Webseitenbetreibern gesagt, dass das Problem mit AdSense (bzw. Overture) erkannt und behoben sei. AdSense Scripts würden demnach nicht mehr geladen oder ausgeführt.
Auch der anfänglich recht hohe Traffic der Bots, sollte sich innerhalb kürzester Zeit legen.
Gute Ziele, können aber nerven
Höchstwahrscheinlich ist das Ziel von Microsoft nicht etwa Statistiken zu fälschen oder ihren Suchdienst mit Referrer Spam unter Webmastern und Bloggern bekannter zu machen, sondern die Optimierung ihrer eigenen Suchmaschine.
Denn auch eins darf nicht unerwähnt bleiben, auch die Google Bots verwenden diese Technik, wenn auch nicht in der Häufigkeit. Wer schon mal die Google Suchanfrage abc ( http://www.google.com/search?q=abc ) in seinen Logfiles gefunden hat, hat bereits Bekanntschaft mit den relativ neuen Techniken des Google Bots gemacht.
Insgesamt kann man wohl sagen, dass dieses Verfahren, für Benutzer einer Suchmaschine, letztendlich nur Vorteile hat. Für Blogger und Webseitenbetreiber werden in Zukunft Serverlogs (Webalizer etc.) oder Blog Plugins, welche den direkten Traffic messen, immer mehr ihren Wert verlieren. Den MSN Bot von vornherein komplett auszusperren halte ich zu diesem Zeitpunkt auf jeden Fall für den falschen Ansatz.
Kommentare