网站的根目录中存在robots.txt文件。它表明您不了解网站的各个部分’希望搜索引擎爬虫使用“机器人排除标准”进行访问。这是一个协议,其中包含一些命令,这些命令按网络抓取工具的类型(例如,移动设备和台式机)和网站部分指示对您网站的访问。

其次,它提供了一种方法来通知搜寻器代理程序指示哪些站点的页面和部分不应编制索引。它也是提供您要索引的信息以及XML站点地图文件位置的工具。