[已通过]提高网站的抓取效率三步骤（让蜘蛛狂热）

*发表于 2014-6-9 09:00:34* · 发表于 2014-6-9 09:00:34

一，引导蜘蛛抓取网页
1，扁平结构与面包屑。蜘蛛深度优先抓取策略的抓取层级7-8层，因此使用扁平结构，但是，有的网站细分的栏目很细例如A>A1>…..>A8,需要重点关注面包屑
2，Sitemap的更新，如果每天更新的页面数很多的话，可以统计出每日更新的网址，每日补充进sitemap，设置Priority值0.1-1
3，推荐模块的随时更新，核心页面分布到权重高栏目上，方便蜘蛛及时发现url。

二，减少无效的url抓取
通过分析日志分析发现蜘蛛频繁抓取一些无效的url，可以进行以下操作
1，robots.txt禁止无效url被抓取以及索引，分析日志，发现无效的rul就可以更新到robots.txt。
2，通过nofollow的使用来减少url的抓取。
3，通过noindex meta标签禁止url被索引

三，提升网站抓取量
1，避免被安全软件拦截蜘蛛。如果蜘蛛短时间内可以抓取过多的网页，被安全网站拦截，这样，爬虫返回了403，503等代码过多，导致抓取量的下降。
2，人工调整。在分析日志等其他方式时，发现抓取的页面不够多，也可能自身更新的页面数足够多，可以进行手工调整抓取量
3，解决死链。如果死链过多的话，蜘蛛抓取时，发现这个情况，它会自我调整，导致抓取量的下降。

从大型网站SEO优化实践获得，欢迎扔砖以及补充

*发表于 2014-6-9 10:13:30* · 发表于 2014-6-9 10:13:30

蜘蛛深度优先抓取策略的抓取层级7-8层，因此使用扁平结构
这句话错了。
既然是深度优先的话，树形就比较好了。偶不是扁平结构
实际蜘蛛主要的抓取策略还是宽度优先策略，所以使用扁平结构比较好。

楼主| *发表于 2014-6-9 13:03:45* · 发表于 2014-6-9 13:03:45

莫山发表于 2014-6-9 10:13
蜘蛛深度优先抓取策略的抓取层级7-8层，因此使用扁平结构
这句话错了。
既然是深度优先的话，树形就比较好 ...

我的那个意思是层级不应该太深，7级已经够深了，建议使用扁平结构，可能描述的太垃圾了

*发表于 2014-6-9 20:33:36* · 发表于 2014-6-9 20:33:36

一层最好，金字塔不好做

楼主| *发表于 2014-6-10 07:33:32* · 发表于 2014-6-10 07:33:32

豫瞳发表于 2014-6-9 20:33
一层最好，金字塔不好做

嗯一般都/目录/..html

帐号		自动登录	找回密码
密码			注册