发现更大的SEO世界
 找回密码
 注册

扫一扫,访问微社区

搜索
»首页»SEO培训 SEO论坛 SEO交流 帖子
发新帖
陈玉龙,普普通通,实实在在,懂点SEO基础知识,创业中    

通过日志分析解决SEO流量下降的一个例子

本帖最后由 陈玉龙 于 2014-12-23 17:21 编辑

流量下跌之前网站所做过的改动:
1:加速方面:
GZIP,PHP加速(linux有插件加速PHP,IIS也有类似的),图片分离(用二级域名),前端各种。
2:页面当中高度重复的部分采用ajax加载。(前提是已经保证了这些ajax部分的链接在其他有入口了)。
PS:其他均无改动记录。

加速结果:速度提升到200ms左右

SEO表现:
有效的抓取降低,无效的抓取疯狂增长,SEO流量下跌。

分析日志(IIS):
1:发现原图片地址抓取返回200,且处理时间变长。
举例日志:字段为:time-taken  cs-uri-stem sc-status

图片处理时间

图片处理时间


分析:之前做图片分离的时候并未对旧地址做301处理。
解决:旧图片地址301到新图片地址。

2:spider大量抓取js文件和动态无用地址。占总抓取的一半以上,并且比例上涨中。。。
举例日志:抓取次数 cs-uri-stem cs-uri-query

动态地址抓取

动态地址抓取


js文件抓取

js文件抓取

分析:网站内并没有直接出现index.php?xx=id&xx=id的地方。由于spider抓取这两地方出现异常,OK,对比之前的改动,ajax.js文件最有嫌疑。打开之后发现如下:

ajax文件

ajax文件

spider解析(不知道用解析这个词合适不,瓶装?)了URL出来。
再分析:
index.php?xx=id&xx=id这类地址的返回码是200,且http标头信息里面Content-Type: text/html。由于这类页面和正常页面非常不同,只是ajax的请求地址和一些乱七八糟的js代码,在百度站长工具的帮助里面有说明,这类属于内容死链(google也有类似的名称,不过叫做软404)。

解决:
1:robots.txt:封禁这类地址的抓取,并在站长工具后台手动更新了robots.txt,记录了更新日期。
PS:由于这类地址是有用的,所以没有直接返回404,提交死链。
2:Content-Type修改为application/json
3:ajax.js文件当中的url加密。

结果:
几天后百度识别了robots.txt文件。动态地址的抓取大量下降,有效抓取提升,并且高出之前的正常状态(也许是速度提升了吧)。
流量慢慢上涨。

SEO流量

SEO流量


PS:
1:由于中间也走了一些弯路,这里整理出来的是排除了错误的地方之后的。希望大家出现类似问题的时候有个先例吧。已是满头大汗,各位看官求个好评。。。
2:由于隐私原因不能给网址和具体流量数据,见谅。。。。


================================================================
2014-12-23
robots.txt不能解决此类问题。robots.txt之前的操作起到了一定作用,但是先降后生,也就是之后还是抓取了这类的链接。
解决方法:
二级域名,封禁IP

评分

参与人数 5赞同 +24 收起 理由
lovegirl + 4 很给力!
九十九 + 4 很给力!
思明 + 4 赞一个!
vic + 4 很给力!
ZERO + 8

查看全部评分

发表于 2014-11-7 17:44:01
回复 收藏
ZERO,SEO执着爱好者    

一向推荐robots.txt的解决手段,其它大多数改进抓取的方法强制性都不够,往往没效果或者很不显著。
发表于 2014-11-7 18:43:28
回复 收藏
陈玉龙,普普通通,实实在在,懂点SEO基础知识,创业中    

ZERO 发表于 2014-11-7 18:43
一向推荐robots.txt的解决手段,其它大多数改进抓取的方法强制性都不够,往往没效果或者很不显著。 ...

话说通过robots.txt是屏蔽不了js和css的抓取吧。其他的倒是效果明显的
 楼主| 发表于 2014-11-12 12:12:57
回复 收藏
千易,seo、php爱好者    

突然发现给不了赞了
发表于 2014-11-12 14:04:02
回复 收藏
bhly58,北海旅行社 http://www.58bh.com    

那这样说来要尽量减小图片的大小,或者不加图片吗?
发表于 2014-11-12 22:10:52
回复 收藏
钱小西,请到个人资料页面设置个人签名    

这是真正的实战经验,比看一些理论学到的多多了。看来提升流量的方法还有不少其他方法。
发表于 2014-11-14 22:25:28
回复 收藏
陈玉龙,普普通通,实实在在,懂点SEO基础知识,创业中    

钱小西 发表于 2014-11-14 14:25
这是真正的实战经验,比看一些理论学到的多多了。看来提升流量的方法还有不少其他方法。 ...

把数据监控好,有时候是真的能发现很多别人看不到的事实。
当然对百度和google那些指南也得认真看。我也很弱逼的,好多也解决不了。
 楼主| 发表于 2014-11-16 22:10:29
回复 收藏
陈玉龙,普普通通,实实在在,懂点SEO基础知识,创业中    

bhly58 发表于 2014-11-12 14:10
那这样说来要尽量减小图片的大小,或者不加图片吗?

不是这个意思。
在不影响正常业务的情况下,尽量加快速度总是有好处的嘛
 楼主| 发表于 2014-11-16 22:12:45
回复 收藏
钱小西,请到个人资料页面设置个人签名    

陈玉龙 发表于 2014-11-16 14:10
把数据监控好,有时候是真的能发现很多别人看不到的事实。
当然对百度和google那些指南也得认真看。我也 ...

lz太谦虚了,希望lz能多多分享一些seo实战经验
发表于 2014-11-16 22:52:24
回复 收藏
lovegirl,未来的seo大神    

通过技术解决问题来提升流量,很正规的seo手法。这才是真正的seo。
发表于 2014-11-17 09:57:13
回复 收藏
陈玉龙,普普通通,实实在在,懂点SEO基础知识,创业中    

lovegirl 发表于 2014-11-17 01:57
通过技术解决问题来提升流量,很正规的seo手法。这才是真正的seo。

没啥。。。。
 楼主| 发表于 2014-11-17 16:05:46
回复 收藏
rong360seo,请到个人资料页面设置个人签名    

这种情况用robots不太能解决的好吧?
发表于 2014-11-17 17:23:18
回复 收藏
陈玉龙,普普通通,实实在在,懂点SEO基础知识,创业中    

rong360seo 发表于 2014-11-17 09:23
这种情况用robots不太能解决的好吧?

那种可以更好 ?
 楼主| 发表于 2014-11-17 18:22:20
回复 收藏
dayanbi,请到个人资料页面设置个人签名    

Content-Type修改为application/json  这个是什么能解释下么
发表于 2015-10-8 15:11:08
回复 收藏
快速回复 返回顶部 返回列表