robot.txt

Mit dem robot.txt File bestimmen Webentwickler, welche Subseiten durch Suchmaschinen gecrawlt oder nicht gecrawlt werden dürfen. So können beispielsweise Admin-Seiten gezielt vom Crawling ausgeschlossen werden und werden dadurch nicht bei den Suchergebnissen (SERP) angezeigt.