大家都来说说采集数据的时候遇到被封或者限制怎么办

*发表于 2014-5-29 15:42:02* · 发表于 2014-5-29 15:42:02

大家都来说说采集数据的时候遇到被封或者限制怎么办

换IP
使用代理ip
伪装成蜘蛛
从手机端采集

现在以爱站的关键词为例，大家都来说说。

*发表于 2014-5-29 15:47:08* · 发表于 2014-5-29 15:47:08

自动判断被封状态，若被封就隔一段时间重试，最中规中矩的做法。

一些内容可以考虑采页面对应的搜索引擎快照。

尽量找不容易被封禁的类似数据源。（个人觉得最重点的）

爱站的关键词需要加cookie采集，技术实现起来图省事的话，cookie每次用浏览器先获取。

楼主| *发表于 2014-5-29 16:05:51* · 发表于 2014-5-29 16:05:51

ZERO 发表于 2014-5-29 15:47
自动判断被封状态，若被封就隔一段时间重试，最中规中矩的做法。

一些内容可以考虑采页面对应的搜索引擎快 ...

爱站的我这边会提示你的ip现在使用了多少次，然后今天用完明天再来，

*发表于 2014-5-29 17:43:39* · 发表于 2014-5-29 17:43:39

爱站，得了吧，你好今天已经玩了367次，换个ip再玩吧，亲。爱站一次只能采集不到100页。所以必须换ip，控制时间。

楼主| *发表于 2014-5-29 17:51:43* · 发表于 2014-5-29 17:51:43

bingyan 发表于 2014-5-29 17:43
爱站，得了吧，你好今天已经玩了367次，换个ip再玩吧，亲。爱站一次只能采集不到100页。所以必须换ip，控制 ...

嗯只能换IP 现在是用vpn换还有一个办法是用拨号的话重拨应该就可以。

帐号		自动登录	找回密码
密码			注册