Robots.txt文件一切正常放于根目录下,包括一条或大量的记录,这种记录根据空行分离(以CR,CR/NL, or NL做为结束符),每一条记录的格式以下所示:
"<field>:<optional space><value><optionalspace>"
Robots.txt文件使用方法举例子以下:
阅读文章文中的人还能够阅读文章:
什么叫百度搜索爬取出现异常?爬取出现异常对网址的危害有什么
robots.txt
Robots.txt 文档应放到哪儿?
怎么使用Robots防止搜索引擎蜘蛛超级黑洞?