优选的利用好每个爬虫资源有助于对网站的seo优化，提高网站内页收录几率，下面就开始今天的分享。

什么是爬虫预算？

爬虫在爬取每个页面都会有一个预算。

比如这个爬虫爬取你的网站只有100个页面的配额，一旦爬取超过100个页面后，他就会中止在你的网站进行爬取而跳到其他网站去。

不做好爬虫预算规划的话，会导致你的页面收录困难，错失排名商机。

在旧版Search Console的爬虫爬取情况

以前老版的Search Console会告诉你爬虫爬取的数量，该平均数量就是这个爬虫在你的网站的预算。

（PS：新版本的Search Console已经没有这个入口，本图仅仅是用来告诉大家爬取预算的概念。）

什么情况会浪费爬取预算？

页面存在大量的301跳转页面，会让Google先爬取跳转前的页面再爬取一次跳转后的页面。

重复页面，网站出现很多相似但不同的网站地址，相似的内容。

example 1：www.xxx.com/abce

example 2：www.xxx.com/ABC

example 3：www.xxx.com/abc/

页面存在分页，但是没有标记Canonical标签

example 1：www.xxx.com/abc/page/1

example 2：www.xxx.com/abc/page/2

如何优化搜索引擎的爬取预算？

我们将会使用Screamingfrog工具，来进行网站的深度检测。找出网站出现重复页面，跳转页面的沫源。（六多数是因为内链错误导致）对内链的指问地址进行修复即可。

页面存在的分页，需要添加Canonical标签，如果你的是wordpress开源网站，只需要下载Yoast SEO插件即可进行设置，非WP需要程序员进行设置。

具体优化请看SEO工具使用之：Screaming Frog使用详解篇

以上就是今天关于谷歌搜索引擎爬虫的知识点分享。