发现更大的SEO世界
 找回密码
 注册

扫一扫,访问微社区

搜索
»首页»SEO培训 SEO论坛 SEO交流 帖子
12下一页
发新帖
卖芽糖,请到个人资料页面设置个人签名    

最近网站新建大概5万新页面,怎么加快页面收录?

5万多新页面本月11号上线,入口和内链加了,sitemap也同时提交了。

观察了半月收录情况,才3000来个页面被收,每天平均200个增量,流量每天增加20uv左右,完全没有达到预期中收录速度,这样下去5万页面得一年多才能收完,太让人捉急了。

怎么能有效加快页面收录??求回复
发表于 2014-10-28 19:01:12
回复 收藏
hudson,请到个人资料页面设置个人签名    

每天抓取多少?
发表于 2014-10-28 19:29:22
回复 收藏
bingyan,攻城师    

看看爬虫的抓取量吧,你一个新站,一下这么多页面,他也需要适应下。
发表于 2014-10-29 14:44:39
回复 收藏
卖芽糖,请到个人资料页面设置个人签名    

bingyan 发表于 2014-10-29 14:44
看看爬虫的抓取量吧,你一个新站,一下这么多页面,他也需要适应下。

我们网站不是新站,总收录也有几百万了,爬虫抓取量我看不到,还需要去找技术要
 楼主| 发表于 2014-10-29 16:55:23
回复 收藏
ZERO,SEO执着爱好者    

入口的设计,至少要保证从首页开始三次点击内可以到达所有的这批页面。
发表于 2014-10-29 17:23:44
回复 收藏
卖芽糖,请到个人资料页面设置个人签名    

ZERO 发表于 2014-10-29 17:23
入口的设计,至少要保证从首页开始三次点击内可以到达所有的这批页面。

这个一开始没考虑到,我重新增加一些新的入口试试,过几天来反馈情况
 楼主| 发表于 2014-10-29 17:58:49
回复 收藏
773605198,请到个人资料页面设置个人签名    

蜘蛛抓取:重复抓取的页面做好nofollow,gzip压缩,单页打开300毫秒,DNS加速,机房出口带宽要大,linux服务器最好,win2003的服务器升级到2008,网站结构首页-频道-内容,做好页面的外链(不单是首页)
页面质量:《百度网页质量白皮书》已经说的够详细了
发表于 2014-10-31 11:10:47
回复 收藏
zoujinxue,禁止在签名添加不相关链接    

加点原创啊,亲
发表于 2014-10-31 11:31:05
回复 收藏
xiaoc,请到个人资料页面设置个人签名    

卖芽糖 发表于 2014-10-29 16:55
我们网站不是新站,总收录也有几百万了,爬虫抓取量我看不到,还需要去找技术要 ...

不看网站很难判断原因并给出解决方法吧。不过收录几百万的站应该是不愁蜘蛛总的抓取量的。假设是一个大型资讯站,如果抓取总量足够,而这批页面收录不尽如人意,我认为应该按以下3个步骤考虑:

1、蜘蛛是否在抓取这5万页面。
虽然增加了入口和内链,也提交了sitemap,这批页面也有部分收录,但这不代表蜘蛛知道5万页面的存在从而分配足够的抓取次数。比如入口,100个新页面为一组做一个入口也要500个,内链的道理类似。有限的爬行入口和内链无法引导蜘蛛完成5万页面的抓取。至于sitemap,zero以前说过百度对这个东西不感冒,聊胜于无。
你说的增加入口和内链,想必不是专门为蜘蛛而做,还要考虑用户方面。如果是我的话,我会专门做十个左右的纯链接页面,假设百度蜘蛛抓满200k的话,每个页面可以放5000-6000个链接,能够覆盖这批新页面。然后把这十个页面用百度站长工具的URL提交和抓取诊断来通知百度蜘蛛。

2、给予这5万页面抓取次数和时间是否充足。
蜘蛛爬行网站的次数和时间是有限的,如果蜘蛛按照经验判断这批页面的重要性较低的话,抓取量提升的就会比较慢。所以这一点赞同zero的建议,增加离首页近的入口。但这又回到上面入口数量的问题。如果是我的话,我会在蜘蛛爬行密集时段到来之前,用未抓取的页面替换已抓取的页面,换句话说,入口是动态的,保证蜘蛛认识到这批页面的重要性和抓取的比例。

3、内容质量是否达到收录标准。
这个应该是决定性的因素吧。全部抓一遍,质量不达标也不会收录。国平老师的博客3年前停更,快照时间却是今年2月(去年快照时间更新还很快),我一个半年不写的博客,快照还是当天,足见原创内容、高质量内容对蜘蛛的吸引力。所以如果蜘蛛已经把这批页面抓过一遍,结果收录比例很小,我觉得就该考虑内容质量的原因了。当然不需要等全部抓取完再看,每天观察日志,抓取了1万结果过几天只放出几十,就该考虑内容因素了。

无论如何,你都需要也应该找技术拿到网站日志,至少是蜘蛛爬行日志,来了解蜘蛛对网站各栏目的看重程度和页面抓取与收录的比例。

评分

参与人数 4赞同 +20 收起 理由
52gcs + 4
思明 + 4 赞一个!
卖芽糖 + 4 赞一个!
ZERO + 8

查看全部评分

发表于 2014-10-31 16:31:09
回复 收藏
ZERO,SEO执着爱好者    

xiaoc 发表于 2014-10-31 08:31
不看网站很难判断原因并给出解决方法吧。不过收录几百万的站应该是不愁蜘蛛总的抓取量的。假设是一个大型 ...

曾经测试过,记得800链接一个页面隔日收录90%左右,然后其它条件基本相当的情况下把链接数量调整成2000个,隔日收录70%左右。
发表于 2014-10-31 17:05:21
回复 收藏
xiaoc,请到个人资料页面设置个人签名    

ZERO 发表于 2014-10-31 17:05
曾经测试过,记得800链接一个页面隔日收录90%左右,然后其它条件基本相当的情况下把链接数量调整成2000个 ...

老大你测试的结果虽然收录比例降低了,但总量翻了一倍呀,所以整体效率应该是提高了才对。
国庆的时候这样弄过一次,10万左右页面吧,不过很多404、重复的和收录过的,没统计。站长工具看随后一段时间抓取频次翻了一倍,一周后回到以前的水平,收录增加了.....1W......
有时间详细做次实验
发表于 2014-10-31 17:18:36
回复 收藏
卖芽糖,请到个人资料页面设置个人签名    

xiaoc 发表于 2014-10-31 16:31
不看网站很难判断原因并给出解决方法吧。不过收录几百万的站应该是不愁蜘蛛总的抓取量的。假设是一个大型 ...

@xiaoc,谢谢你的全面分析
 楼主| 发表于 2014-10-31 22:26:29
回复 收藏
huseo,【上海seo频道】关注,讨论,交流,学习seo技术    

估计你的5万页面都抓取了,只是是否符合收录是一方面,另外一方面是抓取了应该没有放出来,可能某一天一下全出来了(百度大更新)
发表于 2014-11-1 10:04:49
回复 收藏
dreamtrip,day day up    

可能是处于新站考核期,某天大更新会哗啦一下全部出来
发表于 2014-11-26 13:11:05
回复 收藏
卖芽糖,请到个人资料页面设置个人签名    

dreamtrip 发表于 2014-11-26 13:11
可能是处于新站考核期,某天大更新会哗啦一下全部出来

不是新站,主要是入口加太深了,已经增加了新入口,目前收录情况再慢慢好转
 楼主| 发表于 2014-11-26 15:45:51
回复 收藏
12下一页
快速回复 返回顶部 返回列表