新建了robots.txt两天后，提示网站的重要目录对百度进行了...

只看大图 · 发表于 2015-1-20 10:00:47

网站本月13号在站长平台提交了robots.txt（之前根本没有robots.txt文件），从设置robots.txt的依据是从网站日志上面看到的爬虫对网站一些系统目录的抓取。顺便又把“关于我们”“帮助”(/help/,/about/)等目录加入不允许抓取行列。从16号开始到今天20号，都从站长平台看到这样的通知，在我确定其他屏蔽抓取的目录都是系统目录，而不涉及前台页面的问题的前提下，出现这样子的问题，是否因为我把 “关于我们”“帮助”(/help/,/about/)屏蔽抓取的原因造成的？

*发表于 2015-1-20 12:50:24* · 发表于 2015-1-20 12:50:24

关于我们”“帮助”(/help/,/about/)等目录没有必要进行robots屏蔽的，
不知道你是出于什么样的目的，这些目录如果不希望传递权重直接nofollow掉就可以了。
具体是不是这个原因造成的不是很了解，可以把这些解封掉试试。
测试后结果也欢迎分享一下。

楼主| *发表于 2015-1-20 13:00:25* · 发表于 2015-1-20 13:00:25

浪子清风发表于 2015-1-20 12:50
关于我们”“帮助”(/help/,/about/)等目录没有必要进行robots屏蔽的，
不知道你是出于什么样的目的，这些 ...

恩，要解封一下试试

*发表于 2015-1-21 19:28:33* · 发表于 2015-1-21 19:28:33

嗯是的直接nofollow就可以了

帐号		自动登录	找回密码
密码			注册