请教几个问题。关注网站改版，蜘蛛爬行情况的问题！感谢

*发表于 2014-6-9 15:49:41* · 发表于 2014-6-9 15:49:41

本帖最后由 born 于 2014-6-9 15:51 编辑

问题叙述：
网站改版现在有将近20天了，改版之前未做过SEO（所以改版URL发生很大变化），页面总数大概1.5W，因为技术限制改版途中只将大概8K页面进行了静态移动到新站的页面中。其他页面均直接删除。然后向百度站长提交了部分死链接大概2K个。其余未提交。
1、现在网站日志文件中，蜘蛛爬行路劲仍然只访问大量旧页面并返回404.不爬行新页面。这种现象正常吗？前段时间进行分析得出擦后年生大量404是因为像站长平台提交的404页面影响蜘蛛去测试连接。但现在死链基本删除完毕为什么依然在爬行旧链接返回404？
2、网站日志中显示蜘蛛总停留时间一百多小时，这是为什么？网站结构错误导致蜘蛛无法正常退出？
3、网站首页抓取率过高，可否通过nofollow在导航将其禁止？

*发表于 2014-6-9 16:29:08* · 发表于 2014-6-9 16:29:08

提交新地图了吗

楼主| *发表于 2014-6-9 16:32:44* · 发表于 2014-6-9 16:32:44

已提交！

*发表于 2014-6-9 16:53:59* · 发表于 2014-6-9 16:53:59

网站改版像百度提交之后大概1个月生效，自己首先要做好301跳转，旧链接返回404即可，百度的蜘蛛也会适应一段时间，所以楼主不用太着急哦

*发表于 2014-6-9 17:34:37* · 发表于 2014-6-9 17:34:37

1. 先量化目前404中，提交死链并生效过的比例是多少。若比例少，那么还大量抓取很正常。

2. 别信任何自己不知道怎么计算出来的数据指标，也多去了解下搜索引擎原理。爬虫无法退出是极其莫名其妙的想法。

3. 随意。

楼主| *发表于 2014-6-9 18:46:20* · 发表于 2014-6-9 18:46:20

ZERO 发表于 2014-6-9 17:34
1. 先量化目前404中，提交死链并生效过的比例是多少。若比例少，那么还大量抓取很正常。

2. 别信任何自己 ...

帐号		自动登录	找回密码
密码			注册