蜘蛛访问无效目录

*发表于 2015-8-2 17:03:32* · 发表于 2015-8-2 17:03:32

现在发现蜘蛛每天访问这个目录http://www.A.com/plugin.php  1000多次
返回304  这个是个签到的板块我早关了现在还访问
这样好吗  如果不好有啥好的解决办法
试了一下不能301

求大神

*发表于 2015-8-3 10:15:51* · 发表于 2015-8-3 10:15:51

robots 试试

楼主| *发表于 2015-8-3 13:51:23* · 发表于 2015-8-3 13:51:23

chanong 发表于 2015-8-3 10:15
robots 试试

对啊把这个忘记了以添加规则过段时间看看

*发表于 2015-8-4 16:31:48* · 发表于 2015-8-4 16:31:48

= =节约蜘蛛访问资源啊。索引数据现在如何了

楼主| *发表于 2015-8-5 10:33:52* · 发表于 2015-8-5 10:33:52

seogyt 发表于 2015-8-4 16:31
= =节约蜘蛛访问资源啊。索引数据现在如何了

还那样吧不多

楼主| *发表于 2015-8-5 10:34:14* · 发表于 2015-8-5 10:34:14

seogyt 发表于 2015-8-4 16:31
= =节约蜘蛛访问资源啊。索引数据现在如何了

关键是百度他可能不遵守robots 协议啊

*发表于 2015-8-6 16:51:26* · 发表于 2015-8-6 16:51:26

涂丹发表于 2015-8-5 10:34
关键是百度他可能不遵守robots 协议啊

不遵守归不遵守，该做还是要做的嘛。。。

帐号		自动登录	找回密码
密码			注册