[已通过]词库采集思路及步骤

只看大图 · 发表于 2014-5-29 22:06:15

大数据淘客一直非常火，其中典型的几个：美丽说，人人逛街，乐活，华声在线等。后期出来的也多于春笋了，但都没活多久，就挂掉了。今天主要给大家提供的是词库采集思路。
词库来源：etao.com

采集思路及步骤：
1. 获取入口页面 HTML 代码 (http://s.etao.com/charlist.html)
2. 广度优先：从入口HTML代码中分析出 A-Z 的分类链接和底部的分页链接（支持去重）
3. 从HTMl页面中获取所有tag（使用xpath）
4. 存储：
MySQL数据结构
建一个 tags 表，因为我只存储了标签名，所以只需要一个name字段就可以
使用到的python包 (依赖包，需要自己安装) 必须：
1. python scrapy 爬虫框架，懂点python很容易上手 [scrapy.org]使用方式：
1.下载提供的代码
2.安装需要的python依赖包
3.cd 到解压目录，启用爬虫， scrapy crawl etao

一淘爬虫：etaoSpider
总结：亲测一个小时的样子可以抓取1500万的TAG，这些TAG 是淘宝根据用户搜索热度提取的。
以上供有需求的同学研究使用，本文针对有python基础的，（这边使用的是linux开发，windows没有测试，时间太紧，不是很详细，有错误多多反馈。如有不好大家勿喷。

*发表于 2014-5-30 08:24:04* · 发表于 2014-5-30 08:24:04

这个可以有，楼主给牛x

*发表于 2014-5-30 09:05:08* · 发表于 2014-5-30 09:05:08

蛮好的，可以用这些TAG去扩词

*发表于 2014-5-30 16:31:43* · 发表于 2014-5-30 16:31:43

抱歉，当是其它板块的发帖了，刚刚发现是投稿，所以通过晚了些。

楼主| *发表于 2014-5-30 17:35:00* · 发表于 2014-5-30 17:35:00

ZERO 发表于 2014-5-30 16:31
抱歉，当是其它板块的发帖了，刚刚发现是投稿，所以通过晚了些。

没事要和zero多学习

*发表于 2014-6-1 23:27:39* · 发表于 2014-6-1 23:27:39

我目前用php的curl和正则。python很强大，学习了

帐号		自动登录	找回密码
密码			注册

[已通过]词库采集思路及步骤

评分