网站日志合理分析

*发表于 2015-1-23 10:04:38* · 发表于 2015-1-23 10:04:38

现在好多人都是很盲目的去分析日志，只是为了分析目的而去分析日志，没有明确自己分析日志的目的是什么。推荐大家使用的工具是shell，几条命令就能搞定的事

1，查看蜘蛛日志的各个维度

抓取量，不重复抓取量，抓取字节数量，响应吗

2，对网站结构进行细分

可以细分为首页，列表页，详情页。知道每种页面的规则，

例如  首页规则 /
         目录规则 /\s
         a目录详情页 /a/\d{3}.html
         咨询列表 /new/\d{3-4}.html

   知道各类页面的规则后就可以对日志进行细分了，例如首页的抓取量,不重复抓取量，响应吗，详情页的抓取量,不重复抓取量，响应吗。经过一段时间的积累想要的数据就出来，这时你已经可以知道自己网站每个地方的表现情况了，核心内容抓取变少的话，自己去调整把。这样也可以清楚知道那类页面出现问题，可以及时的去了解他。

还有响应码的处理，其实日志分析写的不好，主要的还是想强调不要为了分析日志而分析，要有目标性的去分析，例如你想知道自己核心页面的为啥流量不好，哪得知道该类页面收录如何，排名如何，点击率如何。这时如果收录不佳，开始分析是不是页面质量问题，还是抓取不高的问题。有目标性去分析，利用细分来找出原因。。

  日志分析可以参考：http://www.seoqx.com/forum.php?m ... =%E6%97%A5%E5%BF%97

*发表于 2015-1-23 21:20:15* · 发表于 2015-1-23 21:20:15

看了莫山的帖子，我们之前一直是使用光年拆分后，用execl表格打开，然后手动的统计蜘蛛爬行的数据，抓取栏目，数量，重复抓取等等。
没用过shell，是不是shell效率更高，还是有什么好的优点，手动拆分也不是很麻烦呢？！求LZ指点。

楼主| *发表于 2015-1-24 08:04:07* · 发表于 2015-1-24 08:04:07

浪子清风发表于 2015-1-23 21:20
看了莫山的帖子，我们之前一直是使用光年拆分后，用execl表格打开，然后手动的统计蜘蛛爬行的数据，抓取 ...

其实我不是想强调操作我是想告诉大家抱有目的去分析有了目的再去细分从中发现怎么优化

*发表于 2015-1-26 11:23:16* · 发表于 2015-1-26 11:23:16

支持，日志能直观的反应网站搜索引擎表现，学习了

*发表于 2015-1-26 13:22:43* · 发表于 2015-1-26 13:22:43

补充一点，光年日志其实也可以配合着用，来访次数，总抓取量，停留时间
根据这些算出平均每次抓取页面数，平均每次停留时间，单页面抓取时间
这样就可以知道你的页面对蜘蛛的友好度了
光年日志还可以自己添加搜索引擎，像360，神马搜索
要是靠shell一个一个去分析，累屎去

楼主| *发表于 2015-1-26 13:27:06* · 发表于 2015-1-26 13:27:06

Summer 发表于 2015-1-26 13:22
补充一点，光年日志其实也可以配合着用，来访次数，总抓取量，停留时间
根据这些算出平均每次抓取页面数， ...

你学习后你会知道 shell 一个脚本全部信息都出来不过这个不是重点重点还是思路什么工具都可以

*发表于 2015-1-26 13:36:29* · 发表于 2015-1-26 13:36:29

小小发表于 2015-1-26 13:27
你学习后你会知道 shell 一个脚本全部信息都出来不过这个不是重点重点还是思路什么工具都可 ...

恩，不过对于新手来说，要学会编写脚本学习成本太高，还是建议结合着用，你的思路也很好

*发表于 2015-1-26 20:58:45* · 发表于 2015-1-26 20:58:45

小小发表于 2015-1-26 13:27
你学习后你会知道 shell 一个脚本全部信息都出来不过这个不是重点重点还是思路什么工具都可 ...

不知道对于一个对代码只是了解一些html的人来说，写出一个shell脚本是不是很难，要多久才能学会写这个脚本呢？

楼主| *发表于 2015-1-27 09:37:34* · 发表于 2015-1-27 09:37:34

http://bbs.chinaunix.net/thread-452942-1-1.html 4-11 15-20吧
一周内基本就可以搞定多练练

帐号		自动登录	找回密码
密码			注册

网站日志合理分析

评分