2016年6月百度蜘蛛3.0上线了，百度蜘蛛爬虫进入新时代，相比2010年的2.0，已结整整过去了5年，这5年产生了数以亿计的网页数据量，原来的数据处理根本满足不了广大站长的需求，让我们来看看3.0有什么新的科技突破！

　　1、链接发现页面

　　相比2.0时代，3.0借助于越来越完善的百度站长平台，每天发现的新链接有500亿左右，其中用百度站长工具中的自动推送、主动推送、搜索引擎提交、sitemap功能可以让优质内容，尤其是中小型网站的页面，快速高效的被百度蜘蛛发现。

　　2、时效性方面

　　在2.0时代，好多站长朋友们都有这样一种感觉，百度蜘蛛青睐一些大的网站平台，一篇很好的优质文章自己的网站发布之后没有被收录，相反被其它人复制转载到一些大的平台，反而获得收录，并且有了很好的排名，这对于小站长们而言就没有继续创作高质量网站的动力了！

　　而在Baidu Spider3.0上线后，上面这些情况将得到大大的改善，3.0的抓取效率和能力大大加强，嗅觉更加的敏锐，中心站长的优质内容将会大大的呈现在用户面前，从原来的优先对新浪、网易等大新闻站进行抓取,扩大到覆盖全网的新闻、博客、论坛等站点进行快速抓取,大小站都能优待。

　　3、死链方面

　　新的死链模型库，对各种协议死链，内容死链，跳转死链短时间内识别，并进行快照的删除，这对于站群，shell挂马，蜘蛛池等偏门行业几乎不在可行。

　　4、建库索引方面

　　原先的2.0时代，百度获得的排名快照基本都是10天之前，从抓取-收录-索引-排名，将是一个漫长的过程，新的3.0蜘蛛大大减少这个时间，提升40%-80%不等！