如何最大限度的增加某个栏目下的页面抓取和收录？

*发表于 2014-6-5 18:17:16* · 发表于 2014-6-5 18:17:16

假定www-abc-com/a123/……html 这种详情页面共有1亿个。
想集中力量最大化提升www-abc-com/a123/ 下的页面抓取和收录数量，最快和最安全的办法有哪些？

*发表于 2014-6-5 19:36:12* · 发表于 2014-6-5 19:36:12

其它没相关经验，仅说一个最中规中矩的通用方法：

将该栏目的新内容收录率，与其它相似栏目及差距较大的栏目的新内容收录率做比较。通常收录最好的栏目和最差的栏目差距会较大。

逐步分析出收录好/差的栏目的本质影响收录的因素，就可以针对性改善收录。

另外，将该栏目新内容中，收录的部分和未收录的部分做比较，也有类似的作用。

我曾以此分析出的不收录情况诸如内容量过于少，内容里面有外部链接等。分析出来以后就可以相应处理。

楼主| *发表于 2014-6-5 19:53:50* · 发表于 2014-6-5 19:53:50

ZERO 发表于 2014-6-5 19:36
其它没相关经验，仅说一个最中规中矩的通用方法：

将该栏目的新内容收录率，与其它相似栏目及差距较大的栏 ...

有些疑问点不知是否有关注：
1、百度给予一个网站（可以是任何网站）网页的每天最大抓取数和收录数是否有个最高上限值？
2、通过什么样的修改能够最大化的达到这个值？

*发表于 2014-6-5 20:04:30* · 发表于 2014-6-5 20:04:30

廖建伟发表于 2014-6-5 11:53
有些疑问点不知是否有关注：
1、百度给予一个网站（可以是任何网站）网页的每天最大抓取数和收录数是否有 ...

抓取策略上本就限量，收录上听百度的RD说，可能存在行业上限并给各网站分一部分的策略。

如团购打算一天收录100个页面，可能美团30，点评20...

*发表于 2014-6-6 10:35:51* · 发表于 2014-6-6 10:35:51

原来抓取上限是指这个意思是否需要分析下日志 url是否被爬虫爬过的比率少的话增加入口

*发表于 2014-6-6 10:57:59* · 发表于 2014-6-6 10:57:59

之前夜息做个途牛的那个案例，就是先分析不同类目然后找出问题，最后做的提供入口和资源平分（途牛nofollow案例到处都在讲），感觉还是不错的

帐号		自动登录	找回密码
密码			注册