问个百度站长平台抓取频次与日志中的抓次页数不一致的...

*发表于 2014-10-6 16:49:06* · 发表于 2014-10-6 16:49:06

近期从百度站长平台看到的抓取次数从2000左右降到了1000左右，遂对近期的日志文件进行了分析，但在日志文件里发现抓取的页面数量一个月来几乎没有什么变化，一直都是3000左右，最多会有一百多个页面的波动，现在有点不太理解这个数据了，百度平台的抓取频次不是抓取的页面数，而是蜘蛛的来访次数？抓取频次下降而抓取的页面数没有下降是因为原来来访一次抓取两个页面，现在来访一次抓取三个页面？各位大神我可以这样理解吗？
另外我对网站主页面的抓取次数进行了统计，基本上等同于百度站长平台的抓取频次，这个数据能不能支撑我上面的推断呢？
注：对日志里的来访蜘蛛IP进行了nslookup，基本上确定都是百度的IP。

*发表于 2014-10-8 11:20:22* · 发表于 2014-10-8 11:20:22

应该不是。因为我看到的数据，有差几个数量级的情况出现。

个人推测可能是单域名多IP的情况没处理好导致的数据错误。

楼主| *发表于 2014-10-8 16:37:03* · 发表于 2014-10-8 16:37:03

ZERO 发表于 2014-10-8 11:20
应该不是。因为我看到的数据，有差几个数量级的情况出现。

个人推测可能是单域名多IP的情况没处理好导致的 ...

IP是单个的，不带WWW的域名也做了301跳转到带www的，这个抓取频次一天是40个左右，我用了百度的站内搜索，会不会站内搜索的抓取次数是不统计到抓取频次的？另外移动适配页面的抓取是否会统计到抓取频次中呢？我做的是子目录的形式，这个老大有数据吗？还有sitemap索引文件的抓取次数，比如sitemap001.xml,sitemap002.xml这种文件，是否会统计在抓取频次中？

*发表于 2014-10-8 17:00:08* · 发表于 2014-10-8 17:00:08

hudson 发表于 2014-10-8 08:37
IP是单个的，不带WWW的域名也做了301跳转到带www的，这个抓取频次一天是40个左右，我用了百度的站内搜索 ...

不确定，确实可能是分开计算的。

360的站长平台人员和我说过，360的抓取分普通爬虫和时效性爬虫两块，但其抓取频次数据仅提供普通爬虫的抓取量，这会导致数据核对不上。

帐号		自动登录	找回密码
密码			注册