网站日志中蜘蛛抓取的链接与网页的实际链接不一致是什...

只看大图 · 发表于 2014-6-5 12:18:35

网站日志中蜘蛛抓取的链接与网页的实际链接不一致是什么问题

蜘蛛抓取的链接：
2014-06-03 00:25:12 W3SVC1001 103.242.132.184 GET /define.aspx ProductShow&cid=11567 80 - 123.125.71.87 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 200 0 0

蜘蛛抓取的链接 /define.aspx ProductShow&cid=11567
网页正确的链接： Product/11567.html

这个会不会存在很大的问题。

二。蜘蛛抓取JS 占比过大是不是应该处理

如果对JS 栏目下的抓取量过大。是不是应该屏蔽掉一些

*发表于 2014-6-5 13:51:48* · 发表于 2014-6-5 13:51:48

是不是改版过的可以http://www.seoqx.com/post/23看看再自己分析下原因吧

*发表于 2014-6-5 14:16:19* · 发表于 2014-6-5 14:16:19

记录的URL不是被访问的URL，而是rewrite到的实际提供页面的URL。这和服务器日志记录的格式有关，需要调整相关设置。

楼主| *发表于 2014-6-5 14:35:20* · 发表于 2014-6-5 14:35:20

ZERO 发表于 2014-6-5 14:16
记录的URL不是被访问的URL，而是rewrite到的实际提供页面的URL。这和服务器日志记录的格式有关，需要调整相 ...

请教一下这个问题如何调整

*发表于 2014-6-5 14:37:21* · 发表于 2014-6-5 14:37:21

c0901yuan 发表于 2014-6-5 06:35
请教一下这个问题如何调整

各类服务器环境不一样，目测这是IIS，网上找相关资料吧。

帐号		自动登录	找回密码
密码			注册