关键词排名搜索引擎优化

树立企业形象,传播公司口碑,让网站天生具备营销能力

免费咨询

robots

日期:2020-11-15 09:00:00   浏览数:4

robots.txt是啥?

有木有想过,如果我们某一站点不许百度搜索和google收录,那怎么办?

搜索引擎早已和大家达到一个约定,如果我们按约定那般干了,他们就不必收录。

这一写约定的的文件命名为:robots.txt。


robots.txt是一个非常简单的.txt文件,用于告知搜索引擎什么网页页面能够收录,什么不允许收录。

有关robots.txt一般网站站长必须留意以下几个方面:

1、假如你的站点对全部搜索引擎公布,则无需做这一文档或是robots.txt为空就可以了。

2、务必取名为:robots.txt,全是小写字母,robot后边加"s"。

3、robots.txt务必置放在一个站点的根目录下。如:根据https://www.yunsites.com/ 能够取得成功浏览到,则表明本网站的置放恰当。

4、一般状况下,robots.txt里只写着2个涵数:User-agent和 Disallow。

5、观查这一网页页面并改动给自己的:https://www.yunsites.com/

6、几个严禁,就得几个Disallow涵数,并支行叙述。

7、最少要有一个Disallow涵数,假如都容许收录,则写: Disallow: ,假如都不允许收录,则写:Disallow: /  (注:仅仅差一个横杆)。


补充说明:

User-agent: *  星号表明容许全部搜索引擎收录

Disallow: /search.html   表明 https://www.seowhy.com/search.html 这一网页页面严禁搜索引擎爬取。

Disallow: /index.php?   表明相近那样的网页页面http://www.seowhy.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 严禁搜索引擎爬取。


阅读文章文中的人还能够阅读文章:

怎么使用标识阻拦网页页面被收录?

栩云营销微信公众号
关注微信公众号获取更多咨讯

我们在微信上期待24小时为您服务

栩云营销是一家集高端、专业、务实的,技术研发与网络营销服务为一体综合营销服务商,擅长网站建设,设计,SEO优化,网络推广及新老网站关键词排名优化,为客户提供综合型数字化创新服务,帮助传统企业实现“互联网+”转型升级
相关推荐
微信公众号

微信公众号