日志突然出现大批量的404抓取何解

只看大图 · 发表于 2014-11-18 15:58:51

近日服务器日志分析里，百度蜘蛛突然抓取很多的url，这些页面是比如/222.html，蜘蛛却抓取到了.../222_1.html、222_2.html等分页形式，实际上这些文章不存在分页，我检查网站，也并没有找到这些网址的入口，有人告诉我说蜘蛛会模拟抓取，个人感觉比较搞笑，但这突然出现的批量网址，总共有一万，总抓取才三万，这实在有点无奈，不知道有大神能否指点一下，这有那些原因能造成呢？

*发表于 2014-11-18 22:03:37* · 发表于 2014-11-18 22:03:37

问题类似吧，关注，我们网站的数量不多，600+

*发表于 2014-11-18 23:17:43* · 发表于 2014-11-18 23:17:43

相同问题：

根据我的观察，百度蜘蛛是一直不遵守robots协议的，明明屏蔽了，但是照样抓，谷歌，360搜索都遵守的很好！

这里抓不存在的页面，估计是百度在搞什么测试吧。

*发表于 2014-11-20 18:10:05* · 发表于 2014-11-20 18:10:05

chulai1 发表于 2014-11-18 23:17
相同问题：

根据我的观察，百度蜘蛛是一直不遵守robots协议的，明明屏蔽了，但是照样抓，谷歌，360搜索都 ...

robots提交了还没生效吧，再观察看看

帐号		自动登录	找回密码
密码			注册

日志突然出现大批量的404抓取何解

相关帖子