Top

Live.com Referrer Spam? Was steckt dahinter?

Juli 10, 2008 by  

Spam Wall
Hast Du vielleicht auch schon in Deinen Statistiken diese merkwürdigen Suchbegriffe gesehen, die angeblich auf der Microsoft Suchmaschine Live.com getätigt wurden? Schon seit einiger Zeit ruft der Bot des Softwareriesen Blogs und Internetseiten auf und übermittelt dabei dubiose Suchbegriffe, die suggerieren, man sei bei populären Suchanfragen auf der ersten Seite der live.com Suchmaschine

Obwohl dieser Blog hier noch gar nicht so lange dabei ist und auch – im Vergleich zu anderen Blogs – noch nicht so viel Content zu bieten hat, besucht mich der search.live.com Bot regelmäßig, wie ich meinen Logs entnehmen konnte

Bild Quelle: Freezelight | Lizenz

65.55.109.48 – – [07/Jul/2008:11:41:43 +0200] „GET /category/blogoptimierung/links/ HTTP/1.0“ 200 23488 „http://search.live.com/results.aspx?q=links&form=QBHP“ „Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)“

65.55.110.61 – – [06/Jul/2008:00:32:50 +0200] „GET /2008/05/21/geld-oder-hobby-warum-bloggst-du/ HTTP/1.0“ 200 65327 „http://search.live.com/results.aspx?q=hobby&form=QBHP“ „Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)“

65.55.109.94 – – [05/Jul/2008:08:11:10 +0200] „GET /2008/04/29/web-20-ideenklau-oder-bin-nur-ich-paranoid/ HTTP/1.0“ 200 41646 „http://search.live.com/results.aspx?q=paranoid&form=QBHP“ „Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)“

Viele, die den live.com Bot noch nicht kennen, werden wahrscheinlich erst einmal positiv überrascht sein:

“Was? Ich bin in den TOP Suchergebnissen mit dem Keyword links, hobby oder paranoid vertreten?”.

Die Enttäuschung setzt aber schnell ein, wenn der Link zur Suchmaschine, mit dem entsprechenden Keyword geöffnet wird und man sieht, dass man natürlich selber nicht dort vertreten ist.

Woher kommen diese Anfragen?

Nach einer kurzen ARIN WHOIS IP Recherche, findet man schnell heraus, dass sämtliche IPs nicht etwa einem “normalen Spammer” gehören, sondern Micorosft höchstpersönlich

MSN Microsoft Live Referrer Spam

Map image
Map image

Anfragen schädigen Statistiken

Wer gerne WordPress Plugins wie Semmelstatz nutzt, kann sich nicht mehr wirklich auf die Daten verlassen. Denn der Microsoft Live Bot ruft die Seite ungefähr so auf, wie ein normaler Besucher und dann auch noch so, als würde er von der live.com Suchmaschine stammen.

Der (englische) Blog Smackdown berichtet sogar, dass der Bot auch das AdSense Script öffnet und so durch vermehrte Seitenaufrufe Werbende und Werbetreibende schädigt. Mehr zu dieser Problematik später.

So ironisch wie es auch klingen mag, ein Weg diese falschen Statistiken zu umgehen, liegt darin, die Daten über Google Analytics erfassen zu lassen. Wenn man es so sehen will, schickt Microsoft die Webseitenbetreiber also direkt zum ärgsten Konkurrenten im Internetbereich.

Warum eigentlich?

Der Grund, warum Microsoft diese Technik anwendet ist, dass Cloaking verhindert werden soll.

Durch Cloaking, werden Bots einer Suchmaschine ein anderer Inhalt angezeigt, als dem richtigen Besucher der Seite. Es gibt Methoden in denen diese Technik im “positiven” Sinn verwendet wird, zum Beispiel um das Durchsuchen von Inhalten der großen (US) Newsseiten zu ermöglich, die dann aber im Endeffekt für den echten, normalen Besucher kostenpflichtig sind.

Oder auch mit negativen Absichten, bei  denen dem Suchmaschinen-Bot nur Texte mit Keywords auf der Seite angezeigt werden, dem Benutzer aber zum Beispiel ausschließlich nervende Flash Werbung.

Mittlerweile gibt es ein offizielles Statement

Was die wenigsten wissen ist, dass nach den ganzen Beschwerden in Foren oder direkt an Microsoft schon auf einem MSDN Blog im Dezember letzten Jahres ein offizielles Statement zu diesem Thema veröffentlicht wurde.

Darin wird den Webseitenbetreibern gesagt, dass das Problem mit AdSense (bzw. Overture) erkannt und behoben sei. AdSense Scripts würden demnach nicht mehr geladen oder ausgeführt.

Auch der anfänglich recht hohe Traffic der Bots, sollte sich innerhalb kürzester Zeit legen.

Gute Ziele, können aber nerven

Höchstwahrscheinlich ist das Ziel von Microsoft nicht etwa Statistiken zu fälschen oder ihren Suchdienst mit Referrer Spam unter Webmastern und Bloggern bekannter zu machen, sondern die Optimierung ihrer eigenen Suchmaschine.

Denn auch eins darf nicht unerwähnt bleiben, auch die Google Bots verwenden diese Technik, wenn auch nicht in der Häufigkeit. Wer schon mal die Google Suchanfrage abc ( http://www.google.com/search?q=abc ) in seinen Logfiles gefunden hat, hat bereits Bekanntschaft mit den relativ neuen Techniken des Google Bots gemacht.

Insgesamt kann man wohl sagen, dass dieses Verfahren, für Benutzer einer Suchmaschine, letztendlich nur Vorteile hat. Für Blogger und Webseitenbetreiber werden in Zukunft Serverlogs (Webalizer etc.) oder Blog Plugins, welche den direkten Traffic messen, immer mehr ihren Wert verlieren. Den MSN Bot von vornherein komplett auszusperren halte ich zu diesem Zeitpunkt auf jeden Fall für den falschen Ansatz.

Kommentare

  • Ist es nicht möglich den Bot aus den Statistiken via. IP sperre zu killen ?Er kann ja weiterhin auf der Seite „rumbotten“, jedoch nicht in den Statistiken.Ich nutze Google Analytics, von daher kann ich nicht ganz so viel zu diesem Bot sagen.

  • Ist es nicht möglich den Bot aus den Statistiken via. IP sperre zu killen ?
    Er kann ja weiterhin auf der Seite „rumbotten“, jedoch nicht in den Statistiken.

    Ich nutze Google Analytics, von daher kann ich nicht ganz so viel zu diesem Bot sagen.

    Paul’s letzter Blogpost: Unordnung auf dem Desktop

  • Hi Paul! Also theoretisch könnte man schon den ganzen IP-Bereich ausschließen, aber da ja mittlerweile auch Google und bald vielleicht auch andere Suchmaschinen dazu übergehen werden diese Technik zu verwenden, wird der Verwaltungsaufwand dafür vielleicht zu hoch.
    Ich denk mal im Bereich 100 Besucher täglich wird das ganze noch ins Gewicht fallen, aber bei wesentlich mehr Besuchern wird das ganze Problem wohl nicht mehr so stark die Statistiken verfälschen. Und Analytics User sind ja momentan auf der sicheren Seite

  • Markus

    Hi Paul! Also theoretisch könnte man schon den ganzen IP-Bereich ausschließen, aber da ja mittlerweile auch Google und bald vielleicht auch andere Suchmaschinen dazu übergehen werden diese Technik zu verwenden, wird der Verwaltungsaufwand dafür vielleicht zu hoch.
    Ich denk mal im Bereich 100 Besucher täglich wird das ganze noch ins Gewicht fallen, aber bei wesentlich mehr Besuchern wird das ganze Problem wohl nicht mehr so stark die Statistiken verfälschen. Und Analytics User sind ja momentan auf der sicheren Seite

  • Die Frage ist natürlich auch, ob man Google Analytics oder andere Anbieter verwendet um den Datenschutzbereich auf den Anbieter „abzuwälzen“

  • Die Frage ist natürlich auch, ob man Google Analytics oder andere Anbieter verwendet um den Datenschutzbereich auf den Anbieter „abzuwälzen“

    Paul’s letzter Blogpost: Unordnung auf dem Desktop

  • Bei mir hält sich das mit dem Traffic der live.com Bots noch in Grenzen, aber mir ist durchaus auch schon aufgefallen, dass regelmäßig „Besucher“ über die live.com Suche auf meinen Blog gelangen. Hab mich auch schon gewundert warum jetzt so viele User die Live Search von Microsoft nutzen 😉

  • Bei mir hält sich das mit dem Traffic der live.com Bots noch in Grenzen, aber mir ist durchaus auch schon aufgefallen, dass regelmäßig „Besucher“ über die live.com Suche auf meinen Blog gelangen. Hab mich auch schon gewundert warum jetzt so viele User die Live Search von Microsoft nutzen 😉

    Gruß

    Alphablogger’s letzter Blogpost: Endlich Urlaub!

  • Pingback: AdSense für Feeds - Werbung Schalten, Analyse und Performance | Blogmillionär()

  • Pingback: Viele Besuche von der Suchmaschine Live.com | Freeweb24.de()

Bottom