发现更大的SEO世界
 找回密码
 注册
搜索
»首页»SEO培训 › SEO论坛 › SEO交流 › 帖子
发新帖
GoGo闯，不折腾不舒服斯基    

没赞了。。。分享个日志分析脚本

本帖最后由 GoGo闯 于 2014-6-28 22:40 编辑

猛然发现没有赞了！！！没赞怎么上课呢！！！！！！
----------------------------------------------------------------

分享一个自己平常用的日志分析脚本，很简单，主要统计URL的抓取和流量数据，略细分。光年那宏观的数据感觉没多大用，就没往里加。因为是临时想到什么就往里加的什么，搞得好多变量自己都忘了是干嘛的，所以整体看上去比较繁琐。效率一般，i3处理器1G多日志3、4分钟。

执行命令：python log_file seo_file        
log_file：要输入日志的文件名，seo_file：随便起一个。。。  

脚本输出的内容包括：

蜘蛛抓取量（总抓取量）
每类页面的抓取量（分不同蜘蛛的；包含唯一抓取量和总抓取量，对比看下重复抓取对不多。。。）
SEO流量（统计的搜索引擎在‘seo_traffic_req’变量里，觉得不够在自己加）
每类页面的SEO流量
每类页面的百度SEO流量和360 SEO流量
蜘蛛状态码汇总
百度来源关键词


  1. #coding:utf-8
  2. #weblog analytics

  4. import re
  5. import sys
  6. import urllib
  7. import os

  9. input_file,seo_file = sys.argv[1:3]        #要输入的日志文件名，和输出的seo流量文件名
  10. seo_url = open(seo_file,'a')
  11. #fenci = open(fenci_file,'a')        ps：需要单独输出百度来源关键词文件，则取消注释
  12. baidu_seo = open('baiduseo.txt','a')

  14. #要统计蜘蛛抓取及流量数据的页面url对应的正则，想统计1个就写1个，想统计100个就写100个，根据自己需求替换下~~
  15. mulu_re = [
  16. '/abc/[0-9]+.html',
  17. '/abc/g[0-9]+/[a-z]+.html'
  18. ]

  20. #要统计的蜘蛛，根据自己需求替换下
  21. kz_spider = [
  22. 'Baiduspider.*search/spider.html'        #因为只匹配‘Baiduspider’可能把假蜘蛛也算进来，所以这么写。。
  23. #'360Spider'
  24. #'Googlebot',
  25. #'Sogou'
  26. ]

  28. weblog = open(input_file).read()

  30. word_re = re.compile('\.baidu\.com/.*?(?:wd|word)=(.*?)[&"]')
  31. seo_traffic_req = re.compile(r'(so.com/.*?q=|360.cn/.*?q=|baidu.com/.*wd=|baidu.com/.*word=|so.com/.*q=|sogou.com/.*query=|youdao.com/.*q=|yahoo.com/.*p=|bing.com/.*q=|google.com/.*q=)')
  32. baidu_seo_re = re.compile(r'(baidu.com/.*wd=|baidu.com/.*word=)')

  34. seo_traffic = 0
  35. seo_baidu = 0
  36. pagecode = {}
  37. baidupagecode = {}


  40. def spider_zq(spider):
  41.         req = re.compile(spider)
  42.         data = len(re.findall(req,weblog))
  43.         return data
  44.        
  45. def url_spider_zq(zz,spider):
  46.         url_re = zz + '.*' + spider
  47.         req = re.compile(url_re)
  48.         data_one = len(list(set(re.findall(req,weblog))))  #唯一抓取量
  49.         data_two = len(re.findall(req,weblog))        #总抓取量
  50.         #e = '%.2f%%'% (float('%.1f'%(data_two-data_one))/data_two)   
  51.         return data_one,data_two

  53. print "\n"
  54. print "<-------------------------------每个蜘蛛的总抓取量---------------------------------->"
  55. for spider in kz_spider:
  56.         print spider + "总抓取量:",spider_zq(spider)
  57. print "\n"

  59. print "<-------------------------------蜘蛛目录抓取量---------------------------------->"
  60. for spider in kz_spider:
  61.         print spider+"目录抓取量:","\n"       
  62.         for zz in mulu_re:
  63.                 print zz,":",url_spider_zq(zz,spider)
  64.         print "\n"

  66. print "<-------------------------------SEO总流量---------------------------------->"
  67. for line in open(input_file):
  68.         data = re.search(seo_traffic_req,line)
  69.         baidu = re.search(baidu_seo_re,line)
  70.         if data:
  71.                 seo_traffic += 1
  72.                 seo_url.write(line+'\n')
  73.         else:
  74.                 continue
  75.         if baidu:
  76.                 seo_baidu += 1
  77.                 baidu_seo.write(line+'\n')
  78.         else:
  79.                 continue
  80.         code = line.split(' ')[9]
  81.         if code.isdigit():
  82.                 if code in pagecode:
  83.                         pagecode[code] += 1
  84.                 else:
  85.                         pagecode[code] = 1
  86.                
  87. print 'SEO流量:',seo_traffic,"\n"

  89. baidu_seo.close()
  90. seo_url.close()
  91. seo_mulu = open(seo_file).read()
  92. baiduseo = open('baiduseo.txt').read()                       
  93.                                
  94. print "<-------------------------------SEO目录流量---------------------------------->"
  95. print "网站目录SEO流量统计：","\n"
  96. for line in mulu_re:
  97.         req = re.compile(line)
  98.         seo_data = len(re.findall(req,seo_mulu))
  99.         print line,seo_data

  101. print "\n"
  102. print "<-------------------------------百度 SEO目录流量---------------------------------->"
  103. print "网站目录SEO流量统计：","\n"
  104. for line in mulu_re:
  105.         req = re.compile(line)
  106.         seo_data = len(re.findall(req,baiduseo))
  107.         print line,seo_data

  109. print "\n"
  110. print "<-------------------------------360 SEO目录流量---------------------------------->"
  111. print "360 SEO流量统计：","\n"
  112. for line in mulu_re:
  113.         line_360 = line + ".*(so.com|360.cn)/.*?q="
  114.         req = re.compile(line_360)
  115.         seo_data_360 = len(re.findall(req,seo_mulu))
  116.         print line,seo_data_360
  117.        
  118. print "\n"
  119. print "<-------------------------------蜘蛛状态码---------------------------------->"
  120. pagecode_sort = sorted(pagecode.iteritems(), key=lambda d:d[1], reverse = True)       
  121. print pagecode_sort
  122. print "\n"       
  123.                
  124. os.remove('baiduseo.txt')   
  125. os.remove(seo_file)        #如果需要日志中SEO流量的部分可以删掉这行

  127. #如果需要日志中的百度来源关键词可以取消注释
  128. #for line in open(seo_file):       
  129. #        word = re.search(word_re,line)               
  130. #        if not word:               
  131. #                continue   
  132. #        kw = urllib.unquote_plus(word.group(1))  
  133. #        if 'ie=utf-8' not in line:                          
  134. #                kw = kw.decode('gb2312','ignore').encode('utf-8')
  135. #                fenci.write(kw+"\n")


复制代码

评分

参与人数 4赞同 +16 收起 理由
yxlwfds + 4 很给力!
小小 + 4 直接上传脚本多好
AIR_seoqx + 4 恩，研究一下你的思路
c0901yuan + 4 神马都是浮云

查看全部评分

发表于 2014-6-28 22:36:28
回复 收藏
c0901yuan，一直喜欢 用c0901yuan  做网名。    

最近爱上这个了
发表于 2014-6-29 11:10:24
回复 收藏

SEO前线 ©2013-2014
论坛相关问题联系邮箱：bbs # seoqx.com

快速回复 返回顶部 返回列表