Was ist Robots.txt?

Mit der Robots.txt Datei können Crawler einzelner Suchmaschinen darüber informiert werden, welche Webseiten oder Teilbereiche einer Webseite nicht in den Index aufgenommen werden sollen.

Diese ist im Wurzelverzeichnis (auch Root-Verzeichnis) einer Webseite abgelegt und wird stets als erste von den Bots gecrawlt. Durch die Robots.txt Datei erhalten Webmaster die Möglichkeit, Crawling-Ressourcen zu schonen, da beispielsweise unwichtige Verzeichnisse nicht indexiert werden müssen.


Relevante Glossareinträge

Googlebot
NoIndex


Relevante Blogbeiträge

Technische SEO
Website-Struktur

NEU: Jetzt "KI-Studie 2024" downloaden!