Mit einer Textdatei kann ein Robot/Spider/Agent irgendeines Suchmotors angewiesen werden, die Website nur unter bestimmten Bedingungen zu durchsuchen. Das ist nicht nur bei umfassenden Datenbanken vorteilhaft, bei denen die Indizierung unter Umständen sämtliche E-Commerce-Transaktionen lahmlegen könnte, sondern auch bei Verzeichnissen, die man nicht unbedingt durch einen Robot durchforsten lassen will (z.B. eine Datenbank). BjoernsWorld.de - robots.txt
Eine gute und einfache deutschsprachige Einführung in die Dressur von Robotern und Spider, die manchmal ganze Websites lahmlegen können. Verständliche Beispiele für die Datei robots.txt ermöglichen es unbedarften Webpublishern, innert kürzester Zeit ein solches File anzulegen. Zuletzt aktualisiert am 25.01.2007 | 
