百度抓取诊断工具是用来做神马的？

只看大图 · 发表于 2014-11-25 13:43:05

本帖最后由 wangpeng 于 2014-11-25 18:15 编辑

上周五发了一篇文章，然后今天上午在那篇文章上更新了一小段内容（加了几个其他板块的入口和说明）

然后就去百度抓取诊断抓取了一下。。。

这边已经提示抓取成功

在抓取详情里面ctrl+f 今天更新的一小段内容关键词
居然发现爬虫没有抓取上午更新的内容。
这说明神马？抓取诊断工具只抓网址，不抓内容？

*发表于 2014-11-25 16:13:29* · 发表于 2014-11-25 16:13:29

不理解，继续关注

*发表于 2014-11-25 16:55:01* · 发表于 2014-11-25 16:55:01

抓取成功只是表示该网址被抓取成功，不代表内容被抓取

楼主| *发表于 2014-11-25 17:02:42* · 发表于 2014-11-25 17:02:42

盗梦者发表于 2014-11-25 16:55
抓取成功只是表示该网址被抓取成功，不代表内容被抓取

抓取诊断工具，只抓网址不抓内容？

*发表于 2014-11-25 17:18:29* · 发表于 2014-11-25 17:18:29

CDN否？更新否？
百度抓取CDN否？
其他等等。。。。

*发表于 2014-11-25 18:13:21* · 发表于 2014-11-25 18:13:21

wangpeng 发表于 2014-11-25 17:02
抓取诊断工具，只抓网址不抓内容？

不是这个意思，我之前提交过url进行诊断，显示抓取成功后，第二天蜘蛛才抓取内容，所以我认为这个状态反馈是网址抓取成功

*发表于 2014-11-25 23:32:59* · 发表于 2014-11-25 23:32:59

多半是服务器端缓存等原因。抓取诊断因为其实现机制，必是及时抓取（盗梦者说的有误），既然没相应内容只说明它当时看到的页面不存在此内容。

帐号		自动登录	找回密码
密码			注册