浅谈lynx在SEO中应用

只看大图 · 发表于 2014-6-21 00:10:17

最近，由于工作的忙碌，一直没有写帖子。之前发布过一篇关于《个人总结处理日志常用的shell命令》，这篇内容更多介绍的是处理日志的方方面面。一直想结合自己的工作，浅谈一下lynx文本浏览器对SEO的应用。今天登陆论坛发现SEO前线创始人zero，做了一个lynx在线版，这样就更加大了自己写这篇帖子的动力，同时也有些惶恐，担心会“误导人”。所以，自己提前声明。这篇帖子仅是一家之言！

对于lynx的介绍，大家可以自行查阅相关资料。我是安装在cygwin上运行的，如何安装cygwin，大家可以参考我一个好友的帖子http://www.seoqx.com/post/203，这个是基础安装，cygwin安装好之后，可以自己下载lynx安装。然后输入命令 lynx “http://www.baidu.com”就会进入lynx文本浏览器的界面。如图：

以上是lynx安装的简单介绍，下面结合我如何用lynx发现和指导SEO工作的，先分享第一个命令 lynx -dump 'http://url' 这个命令可以看到我们网站页面的全部文本和URL信息，这个也是模拟搜索爬虫抓取网站的一个文本信息，但不一定就是爬虫抓取的真实情况。参考性是远远大于市面上的一些模拟爬虫的网站！改图没有显示完，后面会有详细的URL。由于篇幅考虑没有截取全图！如图

通过以上的操作，发现了一个重要的信息就是hidden links ，这里几个链接是爬虫的重要入口。后来和技术沟通为了实现某些功能，不小心把这几个链接加入了一下其他模块中。该项改动之后，整体抓取量有所提成。lynx hidden links如图

继续介绍第二命令 lynx -dump -head 'http://url' 这个是命令是查看header信息的。此命令为什么重要？我想看过搜索引擎书籍的人都会知道，蜘蛛抓取一个网页时，通过解析ip到URL后，首先会看header信息，其中有项值Last-modified：，这个反应了你网页的最后更新日期。这个也可以可结合浏览器抓包看到。我通过这个命令是发现一个内容编码的问题 Content-Language: en-us，然后自己又通过百度抓取测试和这个结果一样，同时又写了一下Python脚本测试结果也一样。

第三个命令式 lynx -dump -crawl 'htrp://url' 来提取这个页面的所有文本信息，然后用自己的喜欢的脚本结合词典进行分词，用tf-idf计算出网页的相关性。这些只是一个参考。对于相关性的计算模块还有很多。但这些可以让你对自己网页有个总体的了解。
最后补上 lynx -dump -crawl 'http://url' >> name.txt or name.csv 。然后就是自己写分词和提取了。关于lynx和一些shell命令结合，还可以作很多SEO的需求。感兴趣的朋友可以在网上找找相关资料。好吧！已经过了零时了，也该休息了。最后要提醒的是：尽是一家之言！

*发表于 2014-6-21 11:05:42* · 发表于 2014-6-21 11:05:42

查看header信息这个比较有用收藏

希望air多总结和更新 lynx的使用

*发表于 2014-6-21 11:26:23* · 发表于 2014-6-21 11:26:23

大神，如何下载安装lynx？

*发表于 2014-6-21 13:33:03* · 发表于 2014-6-21 13:33:03

莫山发表于 2014-6-21 11:26
大神，如何下载安装lynx？

Cygwin 下安装 Lynx 说明
http://bbs.seo0457.com/thread-553-1-1.html

可以去看看

如果是linux系统安装更简单了不同linux版本安装命令不同就拿最简单的 centos把

安装命令如下：yum install lynx

*发表于 2014-6-21 13:51:16* · 发表于 2014-6-21 13:51:16

你是义乌购的啊，呵呵，我之前和一个义乌购的人聊过，一看好友，果然是你啊

*发表于 2014-6-21 21:31:03* · 发表于 2014-6-21 21:31:03

didiaoxiaohu 发表于 2014-6-21 13:33
Cygwin 下安装 Lynx 说明
http://bbs.seo0457.com/thread-553-1-1.html

表示图片没有，说的不清不楚，看不明白。

*发表于 2014-6-22 22:02:11* · 发表于 2014-6-22 22:02:11

莫山发表于 2014-6-21 21:31
表示图片没有，说的不清不楚，看不明白。

差不多到了这一步搜索 lynx 就能找到了点击成skip模式就可以安装了我也不知道我说没说清楚

帐号		自动登录	找回密码
密码			注册

浅谈lynx在SEO中应用

评分