关于日志中出现大量404问题。

*发表于 2014-10-11 11:14:58* · 发表于 2014-10-11 11:14:58

本帖最后由 Axnic.tian 于 2014-10-11 11:20 编辑

大哥们好，之前我们网站一直有关于404的问题（中型网站，最近一星期有5~9W的404）。之前某种原因，做过大量信息内容页URL跳转，比如说比seoqx/23121.html 301到 seoqx/imseo/seo-23121.html. 然后日志中出现了大量关于seoqx/23121.html的404（类似规则的页面，不是说同一个页面），我想现在能不能查一下是否有入口（之前也问过程序，说确认没有了，但是网站页面众多，想确定一下），和这种情况除了死链提交、Robots封禁外，怎么解决？

搭车再问个小问题，IIS日志中的time-taken是不是可以理解为：页面浏览者（包括Spider）浏览页面的时间，页面的加载处理时间？

先谢过大家。

*发表于 2014-10-11 11:29:25* · 发表于 2014-10-11 11:29:25

个人倾向于不管，主要因为一般没太好的解决方法。毕竟搜索引擎在抓，就说明它URL库里面存着这些旧页面，而且较可能是以前存进去现在才慢慢抓的。除了如robots，想不到什么方法将这部分URL从URL库里面移除。

照理按时间会越抓越少，或可统计每日抓取变化趋势。

楼主| *发表于 2014-10-11 22:04:33* · 发表于 2014-10-11 22:04:33

ZERO 发表于 2014-10-11 11:29
个人倾向于不管，主要因为一般没太好的解决方法。毕竟搜索引擎在抓，就说明它URL库里面存着这些旧页面，而 ...

哦啊，那好吧，我先尝试着把一部分这种死链整理一下，从百度站长平台提交一下吧，主要是一周了，也没见404有下降的趋势，所以有点上火，既然说了这么多，那么，问题就来了，挖掘机~~（/#T皿T）︵┻━┻

谢谢Z大的回复^_^

*发表于 2014-10-13 17:29:17* · 发表于 2014-10-13 17:29:17

百度对301转跳需要缓存很久啊，估计你只能等了。

楼主| *发表于 2014-10-14 20:00:47* · 发表于 2014-10-14 20:00:47

bingyan 发表于 2014-10-13 17:29
百度对301转跳需要缓存很久啊，估计你只能等了。

今天301的数据比200还多一点，泪目啊。。。

帐号		自动登录	找回密码
密码			注册