最近网站新建大概5万新页面，怎么加快页面收录？

*发表于 2014-10-28 19:01:12* · 发表于 2014-10-28 19:01:12

5万多新页面本月11号上线，入口和内链加了，sitemap也同时提交了。

观察了半月收录情况，才3000来个页面被收，每天平均200个增量，流量每天增加20uv左右，完全没有达到预期中收录速度，这样下去5万页面得一年多才能收完，太让人捉急了。

怎么能有效加快页面收录？？求回复

*发表于 2014-10-28 19:29:22* · 发表于 2014-10-28 19:29:22

每天抓取多少？

*发表于 2014-10-29 14:44:39* · 发表于 2014-10-29 14:44:39

看看爬虫的抓取量吧，你一个新站，一下这么多页面，他也需要适应下。

楼主| *发表于 2014-10-29 16:55:23* · 发表于 2014-10-29 16:55:23

bingyan 发表于 2014-10-29 14:44
看看爬虫的抓取量吧，你一个新站，一下这么多页面，他也需要适应下。

我们网站不是新站，总收录也有几百万了，爬虫抓取量我看不到，还需要去找技术要

*发表于 2014-10-29 17:23:44* · 发表于 2014-10-29 17:23:44

入口的设计，至少要保证从首页开始三次点击内可以到达所有的这批页面。

楼主| *发表于 2014-10-29 17:58:49* · 发表于 2014-10-29 17:58:49

ZERO 发表于 2014-10-29 17:23
入口的设计，至少要保证从首页开始三次点击内可以到达所有的这批页面。

这个一开始没考虑到，我重新增加一些新的入口试试，过几天来反馈情况

*发表于 2014-10-31 11:10:47* · 发表于 2014-10-31 11:10:47

蜘蛛抓取：重复抓取的页面做好nofollow，gzip压缩，单页打开300毫秒，DNS加速，机房出口带宽要大，linux服务器最好，win2003的服务器升级到2008，网站结构首页-频道-内容，做好页面的外链（不单是首页）
页面质量：《百度网页质量白皮书》已经说的够详细了

*发表于 2014-10-31 11:31:05* · 发表于 2014-10-31 11:31:05

加点原创啊，亲

*发表于 2014-10-31 16:31:09* · 发表于 2014-10-31 16:31:09

卖芽糖发表于 2014-10-29 16:55
我们网站不是新站，总收录也有几百万了，爬虫抓取量我看不到，还需要去找技术要 ...

不看网站很难判断原因并给出解决方法吧。不过收录几百万的站应该是不愁蜘蛛总的抓取量的。假设是一个大型资讯站，如果抓取总量足够，而这批页面收录不尽如人意，我认为应该按以下3个步骤考虑:

1、蜘蛛是否在抓取这5万页面。
虽然增加了入口和内链，也提交了sitemap，这批页面也有部分收录，但这不代表蜘蛛知道5万页面的存在从而分配足够的抓取次数。比如入口，100个新页面为一组做一个入口也要500个，内链的道理类似。有限的爬行入口和内链无法引导蜘蛛完成5万页面的抓取。至于sitemap,zero以前说过百度对这个东西不感冒，聊胜于无。
你说的增加入口和内链，想必不是专门为蜘蛛而做，还要考虑用户方面。如果是我的话，我会专门做十个左右的纯链接页面，假设百度蜘蛛抓满200k的话，每个页面可以放5000-6000个链接，能够覆盖这批新页面。然后把这十个页面用百度站长工具的URL提交和抓取诊断来通知百度蜘蛛。

2、给予这5万页面抓取次数和时间是否充足。
蜘蛛爬行网站的次数和时间是有限的，如果蜘蛛按照经验判断这批页面的重要性较低的话，抓取量提升的就会比较慢。所以这一点赞同zero的建议，增加离首页近的入口。但这又回到上面入口数量的问题。如果是我的话，我会在蜘蛛爬行密集时段到来之前，用未抓取的页面替换已抓取的页面，换句话说，入口是动态的，保证蜘蛛认识到这批页面的重要性和抓取的比例。

3、内容质量是否达到收录标准。
这个应该是决定性的因素吧。全部抓一遍，质量不达标也不会收录。国平老师的博客3年前停更，快照时间却是今年2月（去年快照时间更新还很快），我一个半年不写的博客，快照还是当天，足见原创内容、高质量内容对蜘蛛的吸引力。所以如果蜘蛛已经把这批页面抓过一遍，结果收录比例很小，我觉得就该考虑内容质量的原因了。当然不需要等全部抓取完再看，每天观察日志，抓取了1万结果过几天只放出几十，就该考虑内容因素了。

无论如何，你都需要也应该找技术拿到网站日志，至少是蜘蛛爬行日志，来了解蜘蛛对网站各栏目的看重程度和页面抓取与收录的比例。

*发表于 2014-10-31 17:05:21* · 发表于 2014-10-31 17:05:21

xiaoc 发表于 2014-10-31 08:31
不看网站很难判断原因并给出解决方法吧。不过收录几百万的站应该是不愁蜘蛛总的抓取量的。假设是一个大型 ...

曾经测试过，记得800链接一个页面隔日收录90%左右，然后其它条件基本相当的情况下把链接数量调整成2000个，隔日收录70%左右。

*发表于 2014-10-31 17:18:36* · 发表于 2014-10-31 17:18:36

ZERO 发表于 2014-10-31 17:05
曾经测试过，记得800链接一个页面隔日收录90%左右，然后其它条件基本相当的情况下把链接数量调整成2000个 ...

老大你测试的结果虽然收录比例降低了，但总量翻了一倍呀，所以整体效率应该是提高了才对。
国庆的时候这样弄过一次，10万左右页面吧，不过很多404、重复的和收录过的，没统计。站长工具看随后一段时间抓取频次翻了一倍，一周后回到以前的水平，收录增加了.....1W......
有时间详细做次实验

楼主| *发表于 2014-10-31 22:26:29* · 发表于 2014-10-31 22:26:29

xiaoc 发表于 2014-10-31 16:31
不看网站很难判断原因并给出解决方法吧。不过收录几百万的站应该是不愁蜘蛛总的抓取量的。假设是一个大型 ...

@xiaoc，谢谢你的全面分析

*发表于 2014-11-1 10:04:49* · 发表于 2014-11-1 10:04:49

估计你的5万页面都抓取了，只是是否符合收录是一方面，另外一方面是抓取了应该没有放出来，可能某一天一下全出来了（百度大更新）

*发表于 2014-11-26 13:11:05* · 发表于 2014-11-26 13:11:05

可能是处于新站考核期，某天大更新会哗啦一下全部出来

楼主| *发表于 2014-11-26 15:45:51* · 发表于 2014-11-26 15:45:51

dreamtrip 发表于 2014-11-26 13:11
可能是处于新站考核期，某天大更新会哗啦一下全部出来

不是新站，主要是入口加太深了，已经增加了新入口，目前收录情况再慢慢好转

帐号		自动登录	找回密码
密码			注册

最近网站新建大概5万新页面，怎么加快页面收录？

评分