Robots.txt Definition

Was ist Robots.txt?

Mit der Robots.txt Datei können Crawler einzelner Suchmaschinen darüber informiert werden, welche Webseiten oder Teilbereiche einer Webseite nicht in den Index aufgenommen werden sollen.

Diese ist im Wurzelverzeichnis (auch Root-Verzeichnis) einer Webseite abgelegt und wird stets als erste von den Bots gecrawlt. Durch die Robots.txt Datei erhalten Webmaster die Möglichkeit, Crawling-Ressourcen zu schonen, da beispielsweise unwichtige Verzeichnisse nicht indexiert werden müssen.

Aktualisiert am 24.02.2017

Relevante Glossareinträge