Was ist Robots.txt?

Mit der Robots.txt Datei können Crawler einzelner Suchmaschinen darüber informiert werden, welche Webseiten oder Teilbereiche einer Webseite nicht in den Index aufgenommen werden sollen.

Diese ist im Wurzelverzeichnis (auch Root-Verzeichnis) einer Webseite abgelegt und wird stets als erste von den Bots gecrawlt. Durch die Robots.txt Datei erhalten Webmaster die Möglichkeit, Crawling-Ressourcen zu schonen, da beispielsweise unwichtige Verzeichnisse nicht indexiert werden müssen.


Relevante Glossareinträge

Googlebot
NoIndex


Relevante Blogbeiträge

Die 6 wichtigsten Google Alerts für Online-Marketing & SEO

NEU: Jetzt "Digital Marketing Insights 2024" downloaden!