求解：爬虫自定义canonical 是基于什么考虑？

*发表于 2014-7-17 16:46:36* · 发表于 2014-7-17 16:46:36

网站URL  作了canonical后是  www.xxx/AAA/B/CCC
发现360 爬虫过来后  把URL D定义为 www/B/CCC  去掉了 AAA部分
是基于什么考虑呢？？  自己定义了一个canonical

是想减少分析的难度么？

百度也会这么干么有类似的大婶解答下

*发表于 2014-7-17 21:32:08* · 发表于 2014-7-17 21:32:08

复制来源百度百科

SEO影响

Canonical(权威链接标记)是09年，Google，Yahoo及Microsoft三大搜索引擎联合推出了一个旨在减少重复内容的一个建议，并不是命令，也就是说这个标签搜索引擎可能不遵守。国内最大的中文搜索引擎百度也已经支持Canonical标签。

部分搜索引擎引入了Link的一个新属性Canonical。A页面声明B为权威链接，B声明C为权威网页，则搜索引擎会认为C是A和B共同的首选权威版本。此时Canonical标签起到了301重定向的作用。

只能作用于同一个域名所在的网址，不能作用于不同域名上的重复内容。也就是说如果文章被其它网站抄袭，也不会因为这个标签而给你的原文章带来权重。如果是跨站，可以使用301重定向。该链接标签可用于定义相对地址，也可用于定义绝对地址。但为了保险起见，建议使用绝对地址。

使用方法：为网页指定权威链接（authoritative|canonical URL），以解决副本内容（duplicate content）问题。

使用样式：<link rel=”canonical” href=”网页权威链接”/>

标签作用

对一组内容完全相同或高度相似的网页，通过使用Canonical标签可以告诉搜索引擎哪个页面为规范的网页，能够规范网址并避免搜索结果中出现多个内容相同或相似的页面，帮助解决重复内容的收录问题，避免网站相同内容网页的重复展示及权重的分散，提升规范网页的权重，优化规范网页的排名。

为了避免重复内容的收录，搜索引擎会通过算法对网页内容及链接进行识别，对内容完全相同或者高度相似的网页，会计算出一个系统认为规范的网页结果建立索引并供用户查询。

支持Canonical标签以后，站长可以通过将 <link> 元素和 rel="canonical" 属性添加到该网页非规范版本的<head> 部分，为搜索引擎指定规范网页。添加此链接和属性可以告诉搜索引擎：“在内容相同或高度相似的所有网页中，该网页为最规范最有价值的页面，推荐将该网页排在搜索结果中靠前的位置。”
rel="canonical"标签可用于在不同的域名中建议规范网址吗？
如果网站需要更换域名，且使用的服务器不能创建服务器端重定向网址的情况下，就可以使用rel="canonical" 链接元素指定希望搜索引擎收录域的网址。

楼主| *发表于 2014-7-17 21:37:12* · 发表于 2014-7-17 21:37:12

itluffy 发表于 2014-7-17 21:32
复制来源百度百科

SEO影响

所以说360很奇怪啊哈个性你给他canonical 他不认自己创造一个也可以访问的URL 百度呢直接不认虽然声称支持

*发表于 2014-7-17 21:39:40* · 发表于 2014-7-17 21:39:40

哈哈做seo最难的是什么？

坚持

现在不支持要坚持到百度 360都支持为止

楼主| *发表于 2014-7-17 21:53:40* · 发表于 2014-7-17 21:53:40

itluffy 发表于 2014-7-17 21:39
哈哈做seo最难的是什么？

坚持

是啊

楼主| *发表于 2014-7-18 11:21:51* · 发表于 2014-7-18 11:21:51

itluffy 发表于 2014-7-17 21:39
哈哈做seo最难的是什么？

坚持

你怎么知道我的啊我的面世阿哈哈

帐号		自动登录	找回密码
密码			注册

求解： 爬虫自定义canonical 是基于什么考虑？

求解：爬虫自定义canonical 是基于什么考虑？