百度搜索引擎抓取一般都是通过链接进行索引抓取网站对内容,而网站一般常用的链接包括锚点文本链接、超链接、纯文本链接和图像链接。因此要使网站包含更多网页，首先必须从爬虫程序中抓取网页。如果网站页面定期更新，爬虫更经常访问页面，高质量的内容特别喜欢爬行动物捕捉原始内容。蜘蛛很快就会上网站。网站和网页权重。这应该是最重要的。
第一、网站的页面和权重
质量高、资格老的网站被认为具有较高的权重，这种网站的页面破虫深度也比较高，会收录更多的页面。
第二、频繁更新页面内容
蜘蛛每次爬行都会保存页面数据。如果第二个爬行发现页面与第一次收录的页面完全一样的话，说明页面没有更新，多次捕捉后蜘蛛对页面更新频率很了解，如果有不经常更新的页面，蜘蛛也不需要经常捕捉。如果页面内容经常更新，蜘蛛会更频繁地访问这样的页面，页面上出现的新连接自然也会被蜘蛛更快地跟踪，捕捉新页面。
第四、导入链接
无论是外部链接还是同一网站的内部链接，蜘蛛为了捕捉，必须有导入链接进入页面。否则蜘蛛根本没有机会知道页面的存在。高质量导入链接也经常将页面上的导出链接增加为深度谐波。
第四、主页的点击距离
一般网站上权重最高的是网站，大部分过分的连锁店是网站，蜘蛛最常访问的是网站。因此，离主页点击距离越近，页面权重越高，蜘蛛爬行的机会就越大。
第五、网站URL结构
包含页面权重，执行迭代计算后才能知道，前面说的页面权重越高，对捕获就越有利。搜索引擎蜘蛛在抓之前如何知道页面权重?因此蜘蛛除了与首页的距离、历史资料等因素外，还可以直观地判断出短而浅的URL是网站的权重相对较高的。
第六、蜘蛛引线方法：
1、文本链接
2、超链接
3、锚点文本链接
重量大、年轮多、权威大的蜘蛛必须特别对待。这种网站的破网频率很高，我们都知道搜索引擎蜘蛛，为了保证高效率，不会破网网站的所有页面。网站的权重越高，爬网的深度越高，可以爬的页面就越多。
