有些文件蜘蛛老是爬，robots屏蔽了没用，怎么破？

只看大图 · 发表于 2015-1-22 11:29:43

本帖最后由 yc494821461 于 2015-1-22 11:32 编辑

有些文件蜘蛛老是爬，robots屏蔽了没用，怎么破？

*发表于 2015-1-22 20:07:26* · 发表于 2015-1-22 20:07:26

这个问题估计这几个月网站都存在这个问题，我们的很多网站也是，屏蔽的内容总是抓取，应该不是网站本身的问题。
百度的问题吧，不用破了，暂时还没发现什么负面的影响。

帐号		自动登录	找回密码
密码			注册