发现更大的SEO世界
 找回密码
 注册

扫一扫,访问微社区

搜索
»首页»SEO培训 SEO论坛 SEO交流 帖子
发新帖
vic,请到个人资料页面设置个人签名    [ 版主 ]

百度商情关键词采集

前些时间论坛里一位朋友分享了关键词采集源里,觉得这个百度商情还是不错;在这里要特别感谢一下那位朋友、感谢三博

#coding=utf-8
import urllib2,sys,MySQLdb,time
import json

reload(sys)
sys.setdefaultencoding('utf-8')

conn=MySQLdb.connect(host="localhost",user="root",passwd="",db="jianshen_keyword",charset="utf8") #连接数据库
cursor=conn.cursor()
cursor.execute("SET NAMES utf8") #防止乱码

html = urllib2.urlopen('http://shangqing.baidu.com/recomword/recomWordCache_findRecomWord.htm?area_id=&word=肱三头肌').read()
d = json.loads(html)

for item in d["data"]["list"]:
    dates = item["word"]
    #print dates
    url = 'http://shangqing.baidu.com/recomword/recomWordCache_findRecomWord.htm?area_id=&word=%s'%dates
    print url
    try:
        html2 = urllib2.urlopen(url).read()
        s = json.loads(html2)
        for item1 in s["data"]["list"]:
            print item1["word"]
            print item1["total"]
            cursor.execute("insert into gongsantouji(keyword,total) values('%s','%s')" %(item1["word"],item1["total"]))
            time.sleep(0.3)
    except :
        continue
        time.sleep(5)

QQ截图20140620135025.jpg

有什么问题及时留言;

jianshen_baidu_keyword.zip

729 Bytes, 下载次数: 388

评分

参与人数 3邀请数 +4 赞同 +8 收起 理由
fred + 4
莫山 + 4
0422 + 4 代码不错,我的关键词挖掘有着落了.

查看全部评分

发表于 2014-6-20 13:56:31
回复 收藏
姜姜,个人比较闲,学习python中    

不错,可惜不会数据库 我都是csv存贮的
发表于 2014-6-20 17:13:22
回复 收藏
老狼,老狼博客 www.lanzhihui.com    [ 版主 ]

81219.jpg
  1. #!/bin/bash百度商情  指数版/key.txt置于根目录 下。key.txt及要拓展的词,一行一个
  2. for key in `cat key.txt`
  3. do
  4. echo $key
  5. curl "http://honeyimg.bdimg.com/recomword/recomWordCache_findRecomWord.htm?area_id=&word="$key"" |awk 'BEGIN{RS="{";ORS="\n"}{print $0}'|awk -F "\"|:|}" '{print $5,$9}' >>keyword.txt
  6. done;
复制代码

shangqing.zip (390 Bytes, 下载次数: 361)

评分

参与人数 4赞同 +16 收起 理由
莫山 + 4 shell大神,么么哒。
zoro + 4 赞一个!
vic + 4 呵呵 一样的能解决问题 一样的好用.
renmai + 4 还是shell比较省事

查看全部评分

发表于 2014-6-20 18:15:22
回复 收藏
豫瞳,希望在前线蜕变    

看着都好用
发表于 2014-6-20 18:50:27
回复 收藏
浅唱孤寂,请到个人资料页面设置个人签名    

看着都好厉害,不知道会不会用!
发表于 2014-6-20 23:06:16
回复 收藏
vic,请到个人资料页面设置个人签名    [ 版主 ]

浅唱孤寂 发表于 2014-6-20 23:06
看着都好厉害,不知道会不会用!

使用还是很简单的
 楼主| 发表于 2014-6-21 09:50:24
回复 收藏
笑大虫威武,努力前行的屌丝男。。    

得抓紧学些了,为了做一个公司的词库前后忙了几天,懂技术,会用工具就是好啊,看着真眼馋。。
发表于 2014-6-21 21:13:41
回复 收藏
rockie,请到个人资料页面设置个人签名    

本帖最后由 rockie 于 2014-7-31 00:56 编辑

狼总,我在采集的时候,关键词是中文时不能采集

在有英文和中文混合的时候,部有一个不能满足,用UTF-8时中文出现乱码,用GBK时英文采集有中文时就是乱码

shangqing

shangqing

SHANGQING

SHANGQING
发表于 2014-7-31 00:54:10
回复 收藏
张小凡,QQ 2858487913    

姜姜 发表于 2014-6-20 17:13
不错,可惜不会数据库 我都是csv存贮的

怎么用csv格式储存呢?
发表于 2014-7-31 09:20:34
回复 收藏
张小凡,QQ 2858487913    

姜姜 发表于 2014-6-20 17:13
不错,可惜不会数据库 我都是csv存贮的

怎么用csv格式储存呢?
发表于 2014-7-31 09:20:52
回复 收藏
姜姜,个人比较闲,学习python中    

张小凡 发表于 2014-7-31 09:20
怎么用csv格式储存呢?

我的脚本不是他这样的
发表于 2014-8-3 10:44:29
回复 收藏
快速回复 返回顶部 返回列表