禁止蜘蛛抓取的方法有哪些？

*发表于 2015-6-1 17:18:31* · 发表于 2015-6-1 17:18:31

先说明一下基本情况：网站之前有一批tag词由于调用规则不太严谨，导致出现大量的无意义翻页，这些翻页也都被收录了而且还呈上升的趋势。后来就改变了之前的调用规则，翻页问题基本解决了，但是搜索引擎那边从日志里看还是大量抓取并索引那些的翻页，做了noindex效果不好，robots不太好写规则，想问一下还有其它什么禁止蜘蛛抓取的方法吗？

*发表于 2015-6-1 17:43:39* · 发表于 2015-6-1 17:43:39

百度目前支持的有nofollow，Canonical【可用】

*发表于 2015-6-1 18:13:33* · 发表于 2015-6-1 18:13:33

如果是想要大面积的屏蔽，robots可能会效率高一些，如果是想要个别链接屏蔽蜘蛛抓取nofollow可能会比较好操作些~~~

楼主| *发表于 2015-6-1 20:43:56* · 发表于 2015-6-1 20:43:56

胖子发表于 2015-6-1 18:13
如果是想要大面积的屏蔽，robots可能会效率高一些，如果是想要个别链接屏蔽蜘蛛抓取nofollow可能会比较好操 ...

是大面积的，但是robots不好写规则，因为调出来的词第一页还是要抓取的，只是想禁止后面的没有的翻页，写了noindex好像也不起作用

*发表于 2015-6-2 09:00:57* · 发表于 2015-6-2 09:00:57

ww121314156 发表于 2015-6-1 20:43
是大面积的，但是robots不好写规则，因为调出来的词第一页还是要抓取的，只是想禁止后面的没有的翻页，写 ...

百度不支持noindex

楼主| *发表于 2015-6-2 16:28:30* · 发表于 2015-6-2 16:28:30

tycrabc 发表于 2015-6-2 09:00
百度不支持noindex

应该是支持的，生效时间和遵守程度就不知道了

帐号		自动登录	找回密码
密码			注册