你们每天抓取量多少啊？

*发表于 2015-4-5 02:48:41* · 发表于 2015-4-5 02:48:41

我手上一个几十个文章的网站，几个月前本来几十次的，每天调高一点，现在每天5000抓取了。。。。。。看看能坚持到10w/天不。。。。。

*发表于 2015-4-5 16:37:23* · 发表于 2015-4-5 16:37:23

抓取量足够让每天发布的新页面绝大多数收录就较理想了，应该去量化监控新页面的收录率情况。

再高点一般也不是坏事，抓取量越高更新旧有页面就越快，在那些页面上做些改动的话，也就能越快的看到效果的体现。

但前提还是先要去保证新页面绝大多数被收录，如果没有的话，不仅在抓取总量上，包括对网站各类型页面的抓取优先级上，都要想方设法去调整。

帐号		自动登录	找回密码
密码			注册