没有什么大关系

作者:北京诚信汇发物流有限公司  来源:www.cxhfwL.com  发布时间:2018-10-20 19:04:26
搜索引擎蜘蛛抓取配额是什么? QQ截图20170704140155.jpg

上图是SEO每天一贴这种级别的小网站,页面抓取频次和抓取时间(取决于服务器速度和页面大小)没有什么大关系,说明没有用完抓取份额,不用担心。

有的时候,抓取频次和抓取时间是有某种对应关系的,如下图另一个大些的网站:

QQ截图20170704140210.jpg

可以看到,抓取时间改善(减小页面尺寸、提高服务器速度、优化数据库),明显导致抓取频次上升,使更多页面被抓取收录,遍历一遍网站更快速。

Google Search Console里更大点站的例子:

QQ截图20170704140226.jpg

最上面的是抓取页面数,中间的是抓取数据量,除非服务器出错,这两个应该是对应的。最下面的是页面抓取时间。可以看到,页面下载速度够快,每天抓取上百万页是没有问题的。

当然,像前面说的,能抓上百万页是一方面,搜索引擎想不想抓是另一方面。

大型网站另一个经常需要考虑抓取份额的原因是,不要把有限的抓取份额浪费在无意义的页面抓取上,导致应该被抓取的重要页面却没有机会被抓取。

浪费抓取份额的典型页面有:

大量过滤筛选页面。这一点,几年前关于无效URL爬行索引的帖子里有详细讨论。

站内复制内容

低质、垃圾内容

日历之类的无限个页面

上面这些页面被大量抓取,可能用完抓取份额,该抓的页面却没抓。

怎样节省抓取份额?

当然首先是降低页面文件大小,提高服务器速度,优化数据库,降低抓取时间。

推荐阅读/观看:门头沟网站建设 http://mtgwzjs.cn



上一篇:如何通过活动进行推广和撰写有效的活动方案
下一篇:最后一页