Anreizmechanismen für Peer-to-Peer Web Crawling unter Berücksichtigung bösartiger Teilnehmer

Abstract

Web Crawling ist grundlegend für eine Vielzahl von Anwendungen. Aufgrund der damit verbundenen hohen Ressourcenanforderungen sind jedoch nur wenige Organisationen in der Lage, eigene Crawler zu betreiben. Um neue Anwendungsbereiche zu erschließen und eine hohe Skalierbarkeit sowie eine faire Verteilung der Kosten zu erreichen, muss Web Crawling nicht nur verteilt, sondern auch koordinatorfrei sein. Peer-to-Peer-Techniken können diese Anforderungen erfüllen, benötigen jedoch Anreizmechanismen, um Teilnehmer nachhaltig zur Beteiligung zu motivieren. Solche Mechanismen müssen jedoch einige Besonderheiten der Anwendung ’Web Crawling’ berücksichtigen: Die Erkennung von sich nicht beteiligenden Teilnehmern ist schwierig, da diese nicht direkt beobachtet werden kann. Weiterhin sollte es einem Teilnehmer erlaubt sein, vorübergehend nicht zu crawlen, ohne in den Augen anderer Peers als bösartig betrachtet zu werden. Weiterhin müssen die zu entwerfenden Mechanismen robust gegen gezielte bösartige Angriffe sein. Wir stellen im Folgenden Anreizmechanismen für ein Peer-to-Peer-System vor, die diese Anforderungen erfüllen. Neben einem Feedback-basierten Reputationssystem kommen dabei Mechanismen zum Einsatz; die eine Überprüfung von Leistungsbehauptungen einzelner Teilnehmern ermöglichen. Umfangreiche Simulationsexperimente evaluieren die Auswirkungen bösartiger Teilnehmer und zeigen die Effektivität und Robustheit des Ansatzes.