百度蜘蛛抓取了很多其他网站上的页面

只看大图 · 发表于 2015-4-17 17:55:07

本帖最后由 kaiyanyixiao 于 2015-4-17 17:57 编辑

麻烦大家帮忙看一下，这是我网站百度抓取的几条记录，其中那个

并非我的网站，这是什么情况啊？

*发表于 2015-4-19 22:28:09* · 发表于 2015-4-19 22:28:09

第一先判断是否是百度假蜘蛛，极有可能是。
也有可能是被百度放到带抓取的名单中的，实在不放心，robots屏蔽就可以了。

*发表于 2015-4-20 22:19:54* · 发表于 2015-4-20 22:19:54

dayanbi 发表于 2015-4-19 22:28
第一先判断是否是百度假蜘蛛，极有可能是。
也有可能是被百度放到带抓取的名单中的，实在不放心，robots屏 ...

不建议robots屏蔽，百度也会存在很多的匿名蜘蛛，也就是过来检测蜘蛛与用户看到的是否是一样的页面，如果在抓取量不是非常大的情况，可以不用理会

帐号		自动登录	找回密码
密码			注册