通过日志分析解决SEO流量下降的一个例子

*发表于 2014-11-7 17:44:01* · 发表于 2014-11-7 17:44:01

本帖最后由陈玉龙于 2014-12-23 17:21 编辑

流量下跌之前网站所做过的改动：
1：加速方面：
GZIP，PHP加速（linux有插件加速PHP，IIS也有类似的），图片分离（用二级域名），前端各种。
2：页面当中高度重复的部分采用ajax加载。（前提是已经保证了这些ajax部分的链接在其他有入口了）。
PS：其他均无改动记录。

加速结果：速度提升到200ms左右

SEO表现：
有效的抓取降低，无效的抓取疯狂增长，SEO流量下跌。

分析日志（IIS）：
1：发现原图片地址抓取返回200，且处理时间变长。
举例日志：字段为：time-taken cs-uri-stem sc-status

图片处理时间

分析：之前做图片分离的时候并未对旧地址做301处理。
解决：旧图片地址301到新图片地址。

2：spider大量抓取js文件和动态无用地址。占总抓取的一半以上，并且比例上涨中。。。
举例日志：抓取次数 cs-uri-stem cs-uri-query

动态地址抓取

js文件抓取

分析：网站内并没有直接出现index.php?xx=id&xx=id的地方。由于spider抓取这两地方出现异常，OK，对比之前的改动，ajax.js文件最有嫌疑。打开之后发现如下：

ajax文件

spider解析（不知道用解析这个词合适不，瓶装？）了URL出来。
再分析：
index.php?xx=id&xx=id这类地址的返回码是200，且http标头信息里面Content-Type: text/html。由于这类页面和正常页面非常不同，只是ajax的请求地址和一些乱七八糟的js代码，在百度站长工具的帮助里面有说明，这类属于内容死链（google也有类似的名称，不过叫做软404）。

解决：
1：robots.txt：封禁这类地址的抓取，并在站长工具后台手动更新了robots.txt，记录了更新日期。
PS：由于这类地址是有用的，所以没有直接返回404，提交死链。
2：Content-Type修改为application/json
3：ajax.js文件当中的url加密。

结果：
几天后百度识别了robots.txt文件。动态地址的抓取大量下降，有效抓取提升，并且高出之前的正常状态（也许是速度提升了吧）。
流量慢慢上涨。

SEO流量

PS：
1：由于中间也走了一些弯路，这里整理出来的是排除了错误的地方之后的。希望大家出现类似问题的时候有个先例吧。已是满头大汗，各位看官求个好评。。。
2：由于隐私原因不能给网址和具体流量数据，见谅。。。。

================================================================
2014-12-23
robots.txt不能解决此类问题。robots.txt之前的操作起到了一定作用，但是先降后生，也就是之后还是抓取了这类的链接。
解决方法：
二级域名，封禁IP

*发表于 2014-11-7 18:43:28* · 发表于 2014-11-7 18:43:28

一向推荐robots.txt的解决手段，其它大多数改进抓取的方法强制性都不够，往往没效果或者很不显著。

楼主| *发表于 2014-11-12 12:12:57* · 发表于 2014-11-12 12:12:57

ZERO 发表于 2014-11-7 18:43
一向推荐robots.txt的解决手段，其它大多数改进抓取的方法强制性都不够，往往没效果或者很不显著。 ...

话说通过robots.txt是屏蔽不了js和css的抓取吧。其他的倒是效果明显的

*发表于 2014-11-12 14:04:02* · 发表于 2014-11-12 14:04:02

突然发现给不了赞了

*发表于 2014-11-12 22:10:52* · 发表于 2014-11-12 22:10:52

那这样说来要尽量减小图片的大小，或者不加图片吗？

*发表于 2014-11-14 22:25:28* · 发表于 2014-11-14 22:25:28

这是真正的实战经验，比看一些理论学到的多多了。看来提升流量的方法还有不少其他方法。

楼主| *发表于 2014-11-16 22:10:29* · 发表于 2014-11-16 22:10:29

钱小西发表于 2014-11-14 14:25
这是真正的实战经验，比看一些理论学到的多多了。看来提升流量的方法还有不少其他方法。 ...

把数据监控好，有时候是真的能发现很多别人看不到的事实。
当然对百度和google那些指南也得认真看。我也很弱逼的，好多也解决不了。

楼主| *发表于 2014-11-16 22:12:45* · 发表于 2014-11-16 22:12:45

bhly58 发表于 2014-11-12 14:10
那这样说来要尽量减小图片的大小，或者不加图片吗？

不是这个意思。
在不影响正常业务的情况下，尽量加快速度总是有好处的嘛

*发表于 2014-11-16 22:52:24* · 发表于 2014-11-16 22:52:24

陈玉龙发表于 2014-11-16 14:10
把数据监控好，有时候是真的能发现很多别人看不到的事实。
当然对百度和google那些指南也得认真看。我也 ...

lz太谦虚了，希望lz能多多分享一些seo实战经验

*发表于 2014-11-17 09:57:13* · 发表于 2014-11-17 09:57:13

通过技术解决问题来提升流量，很正规的seo手法。这才是真正的seo。

楼主| *发表于 2014-11-17 16:05:46* · 发表于 2014-11-17 16:05:46

lovegirl 发表于 2014-11-17 01:57
通过技术解决问题来提升流量，很正规的seo手法。这才是真正的seo。

没啥。。。。

*发表于 2014-11-17 17:23:18* · 发表于 2014-11-17 17:23:18

这种情况用robots不太能解决的好吧？

楼主| *发表于 2014-11-17 18:22:20* · 发表于 2014-11-17 18:22:20

rong360seo 发表于 2014-11-17 09:23
这种情况用robots不太能解决的好吧？

那种可以更好？

*发表于 2015-10-8 15:11:08* · 发表于 2015-10-8 15:11:08

Content-Type修改为application/json 这个是什么能解释下么

帐号		自动登录	找回密码
密码			注册

通过日志分析解决SEO流量下降的一个例子

评分