百度的手机和电脑爬虫ua一致。那他怎么抓手机页面的？

*发表于 2015-4-20 22:56:27* · 发表于 2015-4-20 22:56:27

如果是那种单独m站的可以抓到，但是像知乎或者现在的seoqx 你不管电脑爬虫还是手机爬虫。ua都是一样的，怎么抓？

*发表于 2015-4-21 23:16:21* · 发表于 2015-4-21 23:16:21

本帖最后由微笑的鱼于 2015-4-22 10:24 编辑

百度spider的UA是Baiduspider（www和wap一致），个别网站url长绊会误认为百度爬虫的UA是Baiduspider-mobile。

*发表于 2015-4-21 23:33:33* · 发表于 2015-4-21 23:33:33

本帖最后由微笑的鱼于 2015-4-22 10:27 编辑

手机移动开发可以参考站长平台的指南
http://wenku.baidu.com/view/f08190c06137ee06eff91891.html
按理论来说，抓取的原理应该是一样，至于中间的细节，还没有很官方的说明和很权威的实践证明。

楼主| *发表于 2015-4-22 02:39:31* · 发表于 2015-4-22 02:39:31

说了跟没说一样。。。。。

*发表于 2015-4-22 10:36:20* · 发表于 2015-4-22 10:36:20

你是想问抓取的时候怎么区分是手机页面还是电脑页面吧？

*发表于 2015-4-22 10:41:30* · 发表于 2015-4-22 10:41:30

搜索引擎一般会按照网页的DTD(Document Type Definition)申明来判断网页类型
例如下面这段xhtml的手机版本的DTD申明：
<!DOCTYPE html PUBLIC "-//WAPFORUM//DTD XHTML Mobile 1.0//EN" " h t t p : // w w w . w a p f o rum.org/ D TD/xhtml-mobile10.dtd">

帐号		自动登录	找回密码
密码			注册

百度的手机和电脑爬虫ua一致。那他怎么抓手机页面的？

相关帖子