发现更大的SEO世界
 找回密码
 注册
搜索
»首页»SEO培训 › SEO论坛 › SEO交流 › 帖子
发新帖
刀心，前来膜拜各位大神    

分享自用小工具：TF-IDF计算文档相似性的python实现

本帖最后由 刀心 于 2016-4-7 15:16 编辑

最近要失业了，过渡期上班没太多活，于是捣鼓一下这些东西。

先来说说实现思路
1、我从我的数据库中获取了一些文章的title
2、将title用jieba分词进行分词
3、使用一些第三方库计算出词频向量（其中计算方法不明）
4、根据每两篇文档的词频向量计算其余弦相似性。公式如下图

5、根据人肉观察和计算结果，设定一个阀值，作为相似性推荐的参数值

需要安装的库有：
sklearn，jieba，simplejson，还有一个翻译包，不过可以改改代码 然后不安装这个包。

测试结果：
        1、两个完全相同的标题，得到的最大值是1.0。
        2、两个完全不相同的标题，得到的最小值是0.0。
        3、150行标题，计算速度是0.0xxx，速度还算可以。
        4、10万行标题，计算速度是40秒左右，算是非常慢了。如果后续有优化版本，我会再放上来，毕竟支持大量文章中筛选出相似文章才是硬需求。
        5、感觉0.5以上就挺相似的了。

脚本包注意事项：
1、我的站点是个繁体的站点，从中选出的标题jieba不能进行分词，于是我翻译后再分词的，还需要一个翻译包点击我。
2、开始是想自己用，于是中间在用json转来转去，现在感觉没必要，大家可以改改。

代码如下，我觉得可以扩展一下直接使用。这里的代码高亮看起来舒服些。

  1. #!/usr/local/bin/python
  2. #coding=utf-8
  3. # daoxin 2016-3
  4. import json, simplejson, sys, re
  5. reload(sys)
  6. sys.setdefaultencoding('utf8')
  7. import jieba, time
  8. import string
  9. from sklearn import feature_extraction
  10. from sklearn.feature_extraction.text import TfidfTransformer
  11. from sklearn.feature_extraction.text import CountVectorizer
  12. from collections import Counter
  13. import math
  14. #导入翻译模块；去git下载吧
  15. sys.path.append('/Users/movespeed/Desktop/Python/fanti_jianti')  #文件路径自己修改
  16. from zhtools.langconv import *
  17. #翻译模块结束
  18. """
  19.     cutWord function , save cut word results into json file
  20. """


  23. def cutWord():
  24.     f = open('/Users/movespeed/Desktop/Python/title.json')  #文件路径自己修改
  25.     """
  26.         Open source file
  27.     """
  28.     jiebafile = open('/Users/movespeed/Desktop/Python/jiebafile.json', 'w+'
  29.                      )  #文件路径自己修改
  30.     """
  31.         save cutword result into a json file
  32.     """
  33.     while 1:
  34.         line = f.readline()
  35.         if not line:
  36.             break
  37.         else:
  38.             title = json.loads(line)['title']
  39.             t_id = json.loads(line)['id']
  40.             tf_idf = json.loads(line)['tf-idf']
  41.             #seg_list =  jieba.cut(title, cut_all=True)#the jieba cut function
  42.             title = Converter('zh-hans').convert(
  43.                 title.decode('utf-8')
  44.             )  # Translate func for jieba can't cut cht.
  45.             #print title
  46.             seg_list = jieba.cut(title, cut_all=True)  #the jieba cut function

  48.             seg_list = str(",".join(seg_list))
  49.             seg_list = seg_list.split(',')
  50.             #print seg_list
  51.             result = []
  52.             for seg in seg_list:
  53.                 seg = ','.join(seg.split(',')).decode('utf-8')
  54.                 if (seg != '' and seg != "\n" and seg != "\n\n" and
  55.                         seg != "_" and seg != "," and seg != "|"):
  56.                     result.append(seg)
  57.             jsoninfo = json.dumps({"id": t_id,
  58.                                    "title": title,
  59.                                    "cut_word": result,
  60.                                    "tf_idf": None})
  61.             jiebafile.write(jsoninfo + '\n')

  63. #The testting of cut word function
  64. #cutWord()
  65. """
  66.     vector-values counter function
  67. """
  68. filelist = open('/Users/movespeed/Desktop/Python/jiebafile.json', 'r'
  69.                 )  #文件路径自己修改


  72. # Change json infomation into list , every item contains some chinese word split by one space
  73. def ChangeJsonIntoList(filelist):
  74.     vectorList = list()
  75.     for doc in filelist.readlines():
  76.         #jsoninfo = str(json.loads(doc)['cut_word']).replace(',', '')
  77.         jsoninfo = ' '.join(json.loads(doc)['cut_word'])
  78.         #print jsoninfo
  79.         #print type(jsoninfo)
  80.         vectorList.append(jsoninfo)
  81.     return vectorList


  84. # tf_idf function, return tfidf array
  85. def Tf_Idf(vectorList):
  86.     vectorizer = CountVectorizer()

  88.     X = vectorizer.fit_transform(vectorList)
  89.     counts = X.toarray()

  91.     transformer = TfidfTransformer()
  92.     tfidf = transformer.fit_transform(counts)

  94.     tfidf__ = tfidf.toarray()
  95.     return tfidf__


  98. #Calculating cosine similarity
  99. def CosValues(data1, data2):
  100.     tfidf__ = Tf_Idf(vectorList)
  101.     #print tfidf__ #输出全量文本词频向量稀疏矩阵。
  102.     #print tfidf__[16] #某行文本的向量
  103.     #print tfidf__[17] #某行文本的向量
  104.     Numb = 0
  105.     Agen = 0
  106.     Bgen = 0
  107.     for v, k in zip(tfidf__[data1], tfidf__[data2]):
  108.         Numb += v * k
  109.         Agen += v**2
  110.         Bgen += k**2

  112.     print Numb / (math.sqrt(Agen) * math.sqrt(Bgen))


  115. start = time.clock()

  117. #vector-values function testing
  118. vectorList = ChangeJsonIntoList(filelist)
  119. print type(vectorList[0]), 'type check---!==!--!=='
  120. print vectorList[17]  #可以目测一下第A段文本

  122. #print ' '.join(eval(vectorList[0]))
  123. print '---------'
  124. print vectorList[16]  #可以目测一下第B段文本

  126. #cutWord() #调用切词程序，生成分词json
  127. CosValues(17, 16)  #计算两段文本的相似性。两个参数是对应文本的行号。
  128. end = time.clock()
  129. print end - start  # Take xxx seconds
  130. """
  131.     测试结果：
  132.         最大值：1.0
  133.         最小值：0.0
  134.         150段文本的速度：0.0xx秒
  135.         10万段文本的速度：40秒
  136. """
复制代码




zip包下载。改改就可以自己测试了。

tf-idf-api.zip (16.87 KB, 下载次数: 1478)

QQ20160311-0@2x.jpg (61.49 KB, 下载次数: 1160)

QQ20160311-0@2x.jpg
发表于 2016-3-11 12:03:11 |只看大图
回复 收藏
刀心，前来膜拜各位大神    

沙发。先去吃饭
 楼主| 发表于 2016-3-11 12:03:29
回复 收藏
刀心，前来膜拜各位大神    

我去  咋回事儿，3天了没人看啊。下载的人都干啥呢
 楼主| 发表于 2016-3-14 18:53:12
回复 收藏
alexhero，一个求变者，寻找这个世界的出口，站在高处心在尘埃！    

厉害  向您学习
发表于 2016-3-16 15:34:11
回复 收藏

SEO前线 ©2013-2014
论坛相关问题联系邮箱：bbs # seoqx.com

快速回复 返回顶部 返回列表