主域名下已经加了robots，但蜘蛛还是在抓取屏蔽掉的内容..

*发表于 2015-3-30 15:45:02* · 发表于 2015-3-30 15:45:02

本帖最后由胖子于 2015-3-30 15:46 编辑

网站的主域名下已经加了Robots.txt，但是百度蜘蛛还是在抓取屏蔽的内容，大家帮忙看看是怎么回事？？？
有没有什么好的解决办法？？

*发表于 2015-3-30 17:41:07* · 发表于 2015-3-30 17:41:07

屏蔽全站的情况下，仍抓取的例子不少。屏蔽特定页面的情况下，多数情况下会遵守。

楼主| *发表于 2015-3-31 10:52:26* · 发表于 2015-3-31 10:52:26

ZERO 发表于 2015-3-30 17:41
屏蔽全站的情况下，仍抓取的例子不少。屏蔽特定页面的情况下，多数情况下会遵守。 ...

比如说从二级域名页面中的链接又回到一级域名的页面，有可能还是抓取到屏蔽掉的内容~~

*发表于 2015-4-1 00:34:56* · 发表于 2015-4-1 00:34:56

有没有可能是因为有外链导入

*发表于 2015-4-1 10:27:42* · 发表于 2015-4-1 10:27:42

ZERO 发表于 2015-3-30 17:41
屏蔽全站的情况下，仍抓取的例子不少。屏蔽特定页面的情况下，多数情况下会遵守。 ...

发不了帖好郁闷 ...

*发表于 2015-4-1 23:03:13* · 发表于 2015-4-1 23:03:13

香蕉哥哥发表于 2015-4-1 10:27
发不了帖好郁闷 ...

为什么发不了帖？？？

帐号		自动登录	找回密码
密码			注册