利用百度站长平台抓取诊断工具迅速提升收录

*发表于 2014-6-11 10:38:57* · 发表于 2014-6-11 10:38:57

百度的站长平台里面有款工具，抓取诊断，原主要用于分析百度爬虫抓回去的网页是什么样的。但因为抓取诊断的时候，使用的是实际的百度爬虫，所以让它抓取以后的网页可以进入收录等一系列流程，可用于辅助页面收录。

因为有这效果，所以百度将抓取诊断工具有一定限额，在一定时间内只能抓取300次网页。但效果还可以扩大化。

根据测试，通过抓取诊断工具抓取的页面，其上面的链接往往可以被提取并抓取下一层的网页（但不抓取更多层）。一个页面上至少可以放500个链接，即在抓取诊断工具的限额内，可以促使至少数万页面的快速收录。

*发表于 2014-6-11 11:48:51* · 发表于 2014-6-11 11:48:51

一直在用

*发表于 2014-6-11 11:48:53* · 发表于 2014-6-11 11:48:53

以前也用过这个工具但不知道有这个作用使用中。。。。。。。。。速度很慢

*发表于 2014-6-11 12:19:14* · 发表于 2014-6-11 12:19:14

确实是一个很好的提高收录的方式。

*发表于 2014-6-11 12:24:07* · 发表于 2014-6-11 12:24:07

测试过效果不大。。在进一步测试

*发表于 2014-6-11 13:14:12* · 发表于 2014-6-11 13:14:12

也是前一段时间注意到的，或许不同的样本和时间测试，产生的数据效果略有差别。

*发表于 2014-6-11 13:46:31* · 发表于 2014-6-11 13:46:31

求大婶们出python脚本分享。

楼主| *发表于 2014-6-11 14:01:05* · 发表于 2014-6-11 14:01:05

莫山发表于 2014-6-11 05:46
求大婶们出python脚本分享。

用pycurl，把浏览器发的header都模拟着，带上cookie post过去。处理起来很方便，几分钟的事。

*发表于 2014-6-11 14:08:45* · 发表于 2014-6-11 14:08:45

ZERO 发表于 2014-6-11 14:01
用pycurl，把浏览器发的header都模拟着，带上cookie post过去。处理起来很方便，几分钟的事。 ...

好的，我研究研究，我还不会用post。只会get

*发表于 2014-6-11 16:09:22* · 发表于 2014-6-11 16:09:22

确实有提高爬虫的抓取速度，但是文章质量不行，一样无法收录

楼主| *发表于 2014-6-11 17:18:19* · 发表于 2014-6-11 17:18:19

fengchao 发表于 2014-6-11 08:09
确实有提高爬虫的抓取速度，但是文章质量不行，一样无法收录

一般来说总是这样。

*发表于 2014-6-11 18:01:25* · 发表于 2014-6-11 18:01:25

有在用，还想问下，就是用ping的和提交sitemap 百度对待上有什么区别吗

楼主| *发表于 2014-6-11 18:29:38* · 发表于 2014-6-11 18:29:38

zoro 发表于 2014-6-11 10:01
有在用，还想问下，就是用ping的和提交sitemap 百度对待上有什么区别吗

没试过ping，提交sitemap我自己的几次经验都是效果不理想。

*发表于 2014-6-11 18:51:03* · 发表于 2014-6-11 18:51:03

莫山发表于 2014-6-11 13:46
求大婶们出python脚本分享。

我用的是imacros

*发表于 2014-6-11 22:56:51* · 发表于 2014-6-11 22:56:51

张伟发表于 2014-6-11 18:51
我用的是imacros

这种事情imacros来干非常好哈哈

帐号		自动登录	找回密码
密码			注册

利用百度站长平台抓取诊断工具迅速提升收录

评分

相关帖子