Mit der Robots.txt Datei können Crawler einzelner Suchmaschinen darüber informiert werden, welche Webseiten oder Teilbereiche einer Webseite nicht in den Index aufgenommen werden sollen.
Diese ist im Wurzelverzeichnis (auch Root-Verzeichnis) einer Webseite abgelegt und wird stets als erste von den Bots gecrawlt. Durch die Robots.txt Datei erhalten Webmaster die Möglichkeit, Crawling-Ressourcen zu schonen, da beispielsweise unwichtige Verzeichnisse nicht indexiert werden müssen.
