各抒己见，关于日志分析

只看大图 · 发表于 2015-6-9 10:52:44

我上次发的《如何系统全面的针对SEO进行日志分析？》被删了，这令我很疑惑。

下图为平台的一些日志数据：

通过计算后有以下疑问，希望和大家讨论；

1.计算蜘蛛抓取量时，需不要先取出图片蜘蛛

2.计算“唯一不重复抓取量时”，不同IP的百度蜘蛛抓取同一页面算重复抓取吗？

3.从日志中取出唯一不重复抓取页面有什么意义（就是将不同IP的百度蜘蛛抓取同一页面也算作重复筛选掉）

4.用光年工具以默认30分钟为基点，算出的平均抓取页面数在1.8~2.3之间是不是正常，多少才算正常

5.用光年工具算出单页面的抓取停留时间为230~320s之间，是不是正常，多少才算正常。

*发表于 2015-6-9 15:25:27* · 发表于 2015-6-9 15:25:27

这问题太深奥了，具体的相关经验值等着大牛来分享吧~~

楼主| *发表于 2015-6-9 16:36:07* · 发表于 2015-6-9 16:36:07

胖子发表于 2015-6-9 15:25
这问题太深奥了，具体的相关经验值等着大牛来分享吧~~

还好吧，没人来回答我就继续自己研究。不过为啥Z大一直不出现啊

*发表于 2015-6-9 17:56:14* · 发表于 2015-6-9 17:56:14

icanfeelyouyc5 发表于 2015-6-9 16:36
还好吧，没人来回答我就继续自己研究。不过为啥Z大一直不出现啊

你要是开个公司就知道Zero怎么不出现啦

*发表于 2015-6-10 12:13:17* · 发表于 2015-6-10 12:13:17

3.意义在于可以分析出有多少页面没被抓取，如果唯一不重复抓取量比总页面数少的多，应该用nofollow形式屏蔽掉部分无意义页面，从而抓取更多有效页面，获得更多流量。

5.假设蜘蛛总停留时间不变，单个页面停留时间越短，抓取总量就会越大。

主要是分析抓取的趋势比较重要，观察某个值意义不大，日志分析主要在于测试修改或优化页面后分析趋势，如果抓取量趋势不断上升，说明修改正确，流量会有所提升。

个人看法，还请指点。

*发表于 2015-6-10 12:14:26* · 发表于 2015-6-10 12:14:26

补充，蜘蛛重复抓取越多，浪费带宽越多，帮蜘蛛节省带宽就是帮自己.....

*发表于 2015-6-12 11:27:20* · 发表于 2015-6-12 11:27:20

大雄发表于 2015-6-10 12:14
补充，蜘蛛重复抓取越多，浪费带宽越多，帮蜘蛛节省带宽就是帮自己.....

想问一下大雄，上面说的具体的指标有没有经验值可参考~~~

*发表于 2015-6-12 14:00:16* · 发表于 2015-6-12 14:00:16

胖子发表于 2015-6-12 11:27
想问一下大雄，上面说的具体的指标有没有经验值可参考~~~

基本上没有，看绝对值没有意义，主要是从趋势来分析，比如单页面停留时间300ms以下一般算及格，但肯定是越低越好。

*发表于 2015-7-13 15:57:42* · 发表于 2015-7-13 15:57:42

没必要太过于纠结具体数字，不同网站会有不同的值，曲线波动不大就行了

*发表于 2015-7-16 13:35:47* · 发表于 2015-7-16 13:35:47

icanfeelyouyc5 发表于 2015-6-9 16:36
还好吧，没人来回答我就继续自己研究。不过为啥Z大一直不出现啊

这个工具我下去也试试

帐号		自动登录	找回密码
密码			注册