robots文件对于百度失效的案例

只看大图 · 发表于 2014-6-21 22:31:12

我有一个站，由于之前受黑客攻击，在博客里挂了大量的博彩页面，发现后已全部删除，而且快照已生成。没关系。我用robots文件禁止了百度蜘蛛爬取那个目录：Disallow: /blog/。因为生成的博彩页面都是放在blog文件夹下的，所以用Disallow: /blog/应该对吧。还是Disallow: /blog这样，不要/？最近在查看网站日志发现

，还是在抓取已删除的博彩页面，产生大量的404.。。这可怎么是好。。。

*发表于 2014-6-22 10:11:12* · 发表于 2014-6-22 10:11:12

本帖最后由 xiaoyu 于 2014-6-22 11:32 编辑

首先删除blog, 让所有页面处于404状态。
然后到百度站长工具提交死链

你直接屏蔽是不行的。
你可以看看这篇文章：如何正确使用死链提交工具
http://zhanzhang.baidu.com/wiki/253

*发表于 2014-6-22 13:14:55* · 发表于 2014-6-22 13:14:55

本帖最后由莫山于 2014-6-22 13:16 编辑

robots生效需要一段时间，案例不成立。
还有你这么写肯定不会错：
Disallow: /blog/*

楼主| *发表于 2014-6-22 20:46:02* · 发表于 2014-6-22 20:46:02

xiaoyu 发表于 2014-6-22 10:11
首先删除blog, 让所有页面处于404状态。
然后到百度站长工具提交死链

后面还要加一个* ,有必要吗

楼主| *发表于 2014-6-22 20:47:21* · 发表于 2014-6-22 20:47:21

xiaoyu 发表于 2014-6-22 10:11
首先删除blog, 让所有页面处于404状态。
然后到百度站长工具提交死链

我知道，生效需要时间，zore说过，3到5天，但是这个站改了有一个月了吧。

楼主| *发表于 2014-6-22 20:51:30* · 发表于 2014-6-22 20:51:30

知道是怎么回事了，百度蜘蛛不抓取robots文件，不过话又说回来了，为什么不抓取了呢？

帐号		自动登录	找回密码
密码			注册