为什么百度蜘蛛老是抓取没有的页面？

*发表于 2014-6-22 22:36:20* · 发表于 2014-6-22 22:36:20

2014-06-19 09:35:36 GET /a01.html - 123.125.71.42 HTTP/1.1 Mozilla/5.0+(compatible;+Baiduspider-cpro;++http://www.baidu.com/search/spider.html) - 404 0 206

这个a01.html根本就没有这个网页，而且已查这个IP的确是百度蜘蛛的IP。这就怪了。。外链也没有发像有这个页面的外链指向。

*发表于 2014-6-22 22:49:36* · 发表于 2014-6-22 22:49:36

如果外部有这么个外链，那么抓取也就很正常了。不一定是你发的，外人发的呢？

*发表于 2014-6-23 16:25:36* · 发表于 2014-6-23 16:25:36

有可能是别人生成的，你不知道而已。

帐号		自动登录	找回密码
密码			注册