发现更大的SEO世界
 找回密码
 注册

扫一扫,访问微社区

搜索
»首页»SEO培训 SEO论坛 SEO交流 帖子
发新帖
AIR_seoqx,希望在SEO前线的乐土中,真正享受SEO的滋润。    

浅谈lynx在SEO中应用

        最近,由于工作的忙碌,一直没有写帖子。之前发布过一篇关于《个人总结处理日志常用的shell命令》,这篇内容更多介绍的是处理日志的方方面面。一直想结合自己的工作,浅谈一下lynx文本浏览器对SEO的应用。今天登陆论坛发现SEO前线创始人zero,做了一个lynx在线版,这样就更加大了自己写这篇帖子的动力,同时也有些惶恐,担心会“误导人”。所以,自己提前声明。这篇帖子仅是一家之言!

        对于lynx的介绍,大家可以自行查阅相关资料。我是安装在cygwin上运行的,如何安装cygwin,大家可以参考我一个好友的帖子http://www.seoqx.com/post/203,这个是基础安装,cygwin安装好之后,可以自己下载lynx安装。然后输入命令 lynx “http://www.baidu.com”就会进入lynx文本浏览器的界面。如图:

lynx界面

lynx界面


        以上是lynx安装的简单介绍,下面结合我如何用lynx发现和指导SEO工作的,先分享第一个命令 lynx -dump 'http://url' 这个命令可以看到我们网站页面的全部文本和URL信息,这个也是模拟搜索爬虫抓取网站的一个文本信息,但不一定就是爬虫抓取的真实情况。参考性是远远大于市面上的一些模拟爬虫的网站!改图没有显示完,后面会有详细的URL。由于篇幅考虑没有截取全图!如图

lynx进入界面

lynx进入界面

        通过以上的操作,发现了一个重要的信息就是hidden links ,这里几个链接是爬虫的重要入口。后来和技术沟通为了实现某些功能,不小心把这几个链接加入了一下其他模块中。该项改动之后,整体抓取量有所提成。lynx hidden links如图

hidden links

hidden links


        继续介绍第二命令 lynx -dump -head 'http://url' 这个是命令是查看header信息的。此命令为什么重要?我想看过搜索引擎书籍的人都会知道,蜘蛛抓取一个网页时,通过解析ip到URL后,首先会看header信息,其中有项值Last-modified:,这个反应了你网页的最后更新日期。这个也可以可结合浏览器抓包看到。我通过这个命令是发现一个内容编码的问题 Content-Language: en-us,然后自己又通过百度抓取测试和这个结果一样,同时又写了一下Python脚本测试结果也一样。

        第三个命令式 lynx -dump -crawl  'htrp://url' 来提取这个页面的所有文本信息,然后用自己的喜欢的脚本结合词典进行分词,用tf-idf计算出网页的相关性。这些只是一个参考。对于相关性的计算模块还有很多。但这些可以让你对自己网页有个总体的了解。
       最后补上 lynx -dump -crawl 'http://url' >> name.txt or name.csv 。然后就是自己写分词和提取了。关于lynx和一些shell命令结合,还可以作很多SEO的需求。感兴趣的朋友可以在网上找找相关资料。好吧!已经过了零时了,也该休息了。最后要提醒的是:尽是一家之言!

评分

参与人数 5赞同 +20 收起 理由
豫瞳 + 4 赞一个!
酱油 + 4 赞一个!
刺猬 + 4
奋斗 + 4 多挖掘点使用方法
born + 4 赞一个!

查看全部评分

发表于 2014-6-21 00:10:17
回复 收藏
奋斗,战斗力只有0.05渣渣    

查看header信息这个 比较有用 收藏

希望air多总结和更新 lynx的使用
发表于 2014-6-21 11:05:42
回复 收藏
莫山,改我论坛密码的没有小JJ,哼!!!    

大神,如何下载安装lynx?
发表于 2014-6-21 11:26:23
回复 收藏
didiaoxiaohu,请到个人资料页面设置个人签名    

莫山 发表于 2014-6-21 11:26
大神,如何下载安装lynx?

Cygwin 下安装 Lynx 说明
http://bbs.seo0457.com/thread-553-1-1.html

可以去看看

如果是linux系统  安装更简单了   不同linux版本 安装命令不同  就拿最简单的 centos把  

安装命令如下:yum install lynx
发表于 2014-6-21 13:33:03
回复 收藏
波波,seo爱好者    

你是义乌购的啊,呵呵,我之前和一个义乌购的人聊过,一看好友,果然是你啊
发表于 2014-6-21 13:51:16
回复 收藏
莫山,改我论坛密码的没有小JJ,哼!!!    

didiaoxiaohu 发表于 2014-6-21 13:33
Cygwin 下安装 Lynx 说明
http://bbs.seo0457.com/thread-553-1-1.html

表示图片没有,说的不清不楚,看不明白。
发表于 2014-6-21 21:31:03
回复 收藏
didiaoxiaohu,请到个人资料页面设置个人签名    

莫山 发表于 2014-6-21 21:31
表示图片没有,说的不清不楚,看不明白。

2222.png

差不多到了这一步    搜索 lynx   就能找到了  点击成skip模式  就可以安装了  我也不知道我说没说清楚  
发表于 2014-6-22 22:02:11
回复 收藏
快速回复 返回顶部 返回列表