python 批量查询百度收录脚本

只看大图 · 发表于 2014-6-13 11:46:24

程序说明：
#批量查询百度收录。统计收录率、收录数据共多少条，未收录数据共多少条
此脚本需要先列出待查询的URL，然后和脚本放在同一目录下面，运行脚本即可。
测试5万条数据，速度不是很快，需要时间，查询过程是遇到验证码会停止几分钟，然后自动继续运行。

代码说明：
pro3.txt 是你待查询URL的列表文本，一行一个URL

运行结果：

QQ截图20140613114519.jpg (450.69 KB, 下载次数: 52836)

下载附件

2014-6-13 11:46 上传

如果觉得不错，请评分一下哈

，以后会陆续放出更多实用脚本

baidu_shoulu.py (1.63 KB, 下载次数: 15819)

*发表于 2014-6-13 11:56:45* · 发表于 2014-6-13 11:56:45

看了下代码，觉得遇到验证码隔段时间重试比较合适吧。

楼主| *发表于 2014-6-13 12:07:36* · 发表于 2014-6-13 12:07:36

ZERO 发表于 2014-6-13 11:56
看了下代码，觉得遇到验证码隔段时间重试比较合适吧。

此代码用的是时间来处理

*发表于 2014-6-13 13:26:51* · 发表于 2014-6-13 13:26:51

楼主说的用时间来处理是说如果遇到验证码后5分钟后再次执行代码那种

*发表于 2014-6-13 13:48:12* · 发表于 2014-6-13 13:48:12

本帖最后由行书于 2014-6-13 13:59 编辑

这个最好配合老虎sitemap 或者xenu之类的软件进行全站链接抓取
或者自己可以写个脚本

*发表于 2014-6-13 17:09:52* · 发表于 2014-6-13 17:09:52

目前论子里出现频繁的就是这Python。。。学习呐骚年们

*发表于 2014-6-13 17:11:46* · 发表于 2014-6-13 17:11:46

追问。。这哪个编辑器

*发表于 2014-6-13 17:31:06* · 发表于 2014-6-13 17:31:06

老狼发表于 2014-6-13 17:11
追问。。这哪个编辑器

编辑器为 pycharm

*发表于 2014-6-13 17:32:10* · 发表于 2014-6-13 17:32:10

vic 发表于 2014-6-13 17:31
编辑器为 pycharm

3Q

*发表于 2014-6-17 23:16:01* · 发表于 2014-6-17 23:16:01

老狼发表于 2014-6-13 17:09
目前论子里出现频繁的就是这Python。。。学习呐骚年们

狼哥有没有shell查询百度收录的脚本啊

*发表于 2014-6-18 08:46:38* · 发表于 2014-6-18 08:46:38

why 发表于 2014-6-17 23:16
狼哥有没有shell查询百度收录的脚本啊

没有。用软件的

*发表于 2014-6-23 15:19:59* · 发表于 2014-6-23 15:19:59

小白，请问一下windows如何运行python？

*发表于 2014-7-9 15:10:25* · 发表于 2014-7-9 15:10:25

不知道是不是自己网速问题，还是怎么回事？没到验证码，已经卡死，报错，，数据3.5w条。。。。报错pycul.error (28,'operation time out after .......'),,是不是连接超时导致。。。

*发表于 2014-7-9 22:02:30* · 发表于 2014-7-9 22:02:30

这个编辑器是什么？很吊的样子。一直干嘛sb2不好用

楼主| *发表于 2014-7-10 09:19:38* · 发表于 2014-7-10 09:19:38

SEO小橙发表于 2014-6-23 15:19
小白，请问一下windows如何运行python？

安装python2.7 https://www.python.org/download/releases/2.7.2/

帐号		自动登录	找回密码
密码			注册