做网站优化的人都是知道：搜索引擎的蜘蛛，由于带宽资源、时间等因素，不可能爬完所有页面，实际上最大的搜索引擎也只是爬行和收录了互联网的一小部分。由此可见，虽然理论上蜘蛛能爬行和抓取网站所有页面，但是实际上不能、也不会这么做的。

    所有网站站长都想要搜索引擎收录尽可能多的页面，那么就要想方设法吸引蜘蛛来抓取。既然不能抓取所有页面，蜘蛛所要做的就是尽量抓取重要页面。这就不言而喻了，作为站长面对蜘蛛所要做的就是要引导蜘蛛去抓取自己网站上比较重要的页面和信息，那么哪些页面才能被蜘蛛认为比较重要呢?

    1、网站及页面权重。

    我们都知道质量高、资格老的网站会被认为权重比较高，像这种网站上的页面被蜘蛛爬行的深度也会比较高，所以自然的会有更多内页被收录。

    2、网站内容更新度。

    网站的内容更新很重要，而更新频率的把握也很重要，所以各位站长或网站编辑人员需注意，制定一个定期更新网站计划是很有必要的。

    3、网站链接。

    无论是外部链接，还是网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。这要从我们网站的布局设计开始，加强和优化网站的内部链接。

    4、从首页容易进入。

    网站上权重最高的是首页，大部分外部链接是指向首页的，蜘蛛访问最频繁地也是首页。离首页点击距离越近，页面权重越高，被蜘蛛爬行的机会也越大，所以我们可以把自己网站上重要的页面以及信息在建站的同时放到距离首页较近的位置，这样蜘蛛能够很快的爬行与抓取这些页面。