CDN对Baiduspider抓取总量的影响？大神多多指导

只看大图 · 发表于 2014-6-3 17:49:59

网站蜘蛛抓取总量从24号开始直线下降，但同时站长平台提醒也提醒Baiduspider无法通过解析到的ip访问到网站。

网站最近也没有什么改动，各位大神可否指点一下。是否和CDN有关系？那该如何解决这个问题？

*发表于 2014-6-3 19:45:09* · 发表于 2014-6-3 19:45:09

1、你这图我怎么看着不靠谱呢。不重复抓取和总抓取基本上差不多了。
2、cdn那边和你源服务器都有日志的，需要合并后查询。
3、cdn如果不靠谱就会遇到这问题，我这边也经常遇到这种问题，有些比较好的cdn服务商会给蜘蛛专用的ip抓取。劲量选这种。

*发表于 2014-6-3 22:28:27* · 发表于 2014-6-3 22:28:27

绝大部分CDN系统，都可以给搜索引擎单独设置解析IP地址
是不是你服务不够强大

楼主| *发表于 2014-6-4 09:08:31* · 发表于 2014-6-4 09:08:31

莫山发表于 2014-6-3 19:45
1、你这图我怎么看着不靠谱呢。不重复抓取和总抓取基本上差不多了。
2、cdn那边和你源服务器都有日志的，需 ...

重复抓取率比较低，之前很高，自己做了相应的调整。你用的是哪家的cdn？

楼主| *发表于 2014-6-4 09:09:13* · 发表于 2014-6-4 09:09:13

vic 发表于 2014-6-3 22:28
绝大部分CDN系统，都可以给搜索引擎单独设置解析IP地址
是不是你服务不够强大 ...

谢谢，我这边有解决思路了。

*发表于 2014-6-4 11:48:28* · 发表于 2014-6-4 11:48:28

cdn要回源处理，避免多ip抓取。以前用过加速乐，跟着一样的情况。果断放弃。。。

帐号		自动登录	找回密码
密码			注册