重复数据的处理

*发表于 2014-5-30 17:06:24* · 发表于 2014-5-30 17:06:24

亲们，旧网站的数据有7千多，换系统，改版后，导入到新系统里，产生6w多的数据，很多同样的内容，多个URL。出现过这种情况的朋友，你们一般怎么处理的？

*发表于 2014-5-30 17:12:24* · 发表于 2014-5-30 17:12:24

a、b、c三种url有着同样的内容，看日志，哪种url流量最多，假设a最多，b、c全部301到a

楼主| *发表于 2014-5-30 17:25:29* · 发表于 2014-5-30 17:25:29

GoGo闯发表于 2014-5-30 17:12
a、b、c三种url有着同样的内容，看日志，哪种url流量最多，假设a最多，b、c全部301到a ...

问题是URL没有什么规律，这么多的量，怎么处理

*发表于 2014-5-30 17:48:44* · 发表于 2014-5-30 17:48:44

其实我想说砍死技术。。。道理上这技术上完全能规避，尽量先找技术解决方案。

*发表于 2014-5-30 17:53:16* · 发表于 2014-5-30 17:53:16

删掉，重新导。。延用原来的URL。。

楼主| *发表于 2014-5-30 17:58:54* · 发表于 2014-5-30 17:58:54

ZERO 发表于 2014-5-30 17:48
其实我想说砍死技术。。。道理上这技术上完全能规避，尽量先找技术解决方案。 ...

是的，好吧，已经叫技术想办法解决了。我已经被技术多次出现N多重复数据的问题整死了。

*发表于 2014-6-1 16:17:13* · 发表于 2014-6-1 16:17:13

fred 发表于 2014-5-30 17:58
是的，好吧，已经叫技术想办法解决了。我已经被技术多次出现N多重复数据的问题整死了。 ...

这技术无力吐槽啊，7千多的数据都会出错，那要是有哦百万数据，不被他给整死才怪啊。不过这奇葩我遇到过。。。。

*发表于 2014-6-1 16:20:58* · 发表于 2014-6-1 16:20:58

上面吐槽完了顺便提下我的建议，
1.根据统计的来源“受访页面”确定不可删除url，
2，根据收录的url为不可删除的url

其他的不上上面2个合集的url按照一定规则，比如取旧的一条，其余全部删掉，删掉部分要是不放心，设置好404，同时robot里面不要禁止抓取，提交死链，其他的就只能等+贡献新的优质内容了。

帐号		自动登录	找回密码
密码			注册

重复数据的处理

评分