Java 实现的关键词批量查询排名和计算平均排名

只看大图 · 发表于 2014-6-21 13:04:21

本帖最后由波波于 2014-6-21 13:11 编辑

论坛里很多人都是用python写一些SEO的小工具，自己也学习了python半个多月，掌握了基本的语法结构，但是用起来还是不得心应手。于是用自己比较熟悉的Java语言写了一个小工具，批量查询网站关键词排名和计算平均排名。不过有个前提就是有自己的关键词词库，我这里是从文本文件里面读取关键词的，然后去百度查询关键词排名。这里用的搜外网站做测试，只计算了排名前20的，其中的平均排名会比实际排名要高，对于超过20的都是按照排名20处理，不过都是为了测试功能。
代码还有些问题，就是查询的时候，会查询超时，目前在考虑怎么解决。但效率问题还是有待提升，等优化好了会再一次贴出代码，这里先放出测试版，有兴趣的同学可以一起讨论，给意见。

package bb.com;
import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Date;
import java.util.Iterator;
import java.util.regex.Pattern;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
public class Test {
public static long time = 0;
public static int sum = 0;
public static String getContentByJsoup(String url) { //查询关键词排名
String content = "";
try {
Date startdate = new Date();
Document doc = Jsoup.connect(url)
.timeout(5000)
.get();
Date enddate = new Date();
long t = enddate.getTime() - startdate.getTime();
time += t;
Iterator it = doc.select("span.g,span.c-showurl").iterator();
String str = "seowhy.com";
String regex = "<([^>]*)>";
Pattern pattern = Pattern.compile(regex, Pattern.CASE_INSENSITIVE);
int i = 1;
while (it.hasNext()) {
String s = pattern.matcher(it.next().toString()).replaceAll("");
if (s.contains(str)) {
content = " 排名 " + i;
sum += i;
break;
}
i++;
}
if (content.equals("")) {
content = " 排名20名以外";
sum += 20;
}
} catch (IOException e) {
System.out.println("查询超时！！");
}
return content;
}
public static int readkeyfromfile() throws IOException { //从文件中读取关键词
BufferedReader br = new BufferedReader(new InputStreamReader(
new FileInputStream("E:/workspace/key.txt"), "UTF-8"));
String line = "";
int i = 0;
String url = "http://www.baidu.com/s?wd=";
String u = "";
System.out.println("seowhy关键词排名情况：");
while ((line = br.readLine()) != null) {
u = url + line + "&rn=20";
System.out.println(line + " " + getContentByJsoup(u));
i++;
}
br.close();
return i;
}
public static void main(String args[]) throws IOException {
int keys = readkeyfromfile();
System.out.println("关键词个数：" + keys);
System.out.println("平均排名：" + sum / keys);
System.out.println("耗时==" + time);
}
}

复制代码

以下是运行结果：

楼主| *发表于 2014-6-21 17:23:09* · 发表于 2014-6-21 17:23:09

本帖最后由波波于 2014-6-21 17:25 编辑

解决关键词查询超时问题
之前用jsoup去请求连接，现在改成了用httpclient去请求连接，然后有jsoup解析html

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URLEncoder;
import java.util.Date;
import java.util.Iterator;
import java.util.regex.Pattern;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
public class Down {
public static long time = 0;
public static int sum = 0;
public static String downweb(String url){
Date startdate = new Date();
HttpClient client = new HttpClient();
GetMethod getMethod = new GetMethod(url);
getMethod.getParams().setContentCharset("utf-8");
String ts="";
try {
int statusCode = client.executeMethod(getMethod);
if (statusCode != HttpStatus.SC_OK) {
System.err.println("加载失败" + getMethod.getStatusLine());
}
BufferedReader reader = new BufferedReader(new InputStreamReader(getMethod.getResponseBodyAsStream()));
StringBuffer stringBuffer = new StringBuffer();
String str = "";
while((str = reader.readLine())!=null){
stringBuffer.append(str);
}
ts = stringBuffer.toString();
} catch (HttpException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}finally{
getMethod.releaseConnection();
}
Date enddate = new Date();
long t = enddate.getTime() - startdate.getTime();
time += t;
return ts;
}
public static String getContentByJsoup(String url) {
String content = "";
Document doc = Jsoup.parse(downweb(url));
Iterator it = doc.select("span.g,span.c-showurl").iterator();
String str = "seowhy.com";
String regex = "<([^>]*)>";
Pattern pattern = Pattern.compile(regex, Pattern.CASE_INSENSITIVE);
int i = 1;
while (it.hasNext()) {
String s = pattern.matcher(it.next().toString()).replaceAll("");
if (s.contains(str)) {
content = "排名 " + i;
sum += i;
break;
}
i++;
}
if (content.equals("")) {
content = "排名20名以外";
sum += 20;
}
return content;
}
public static int readkeyfromfile() throws IOException {
BufferedReader br = new BufferedReader(new InputStreamReader(
new FileInputStream("E:/workspace/key.txt"), "UTF-8"));
String line = "";
int i = 0;
String url = "http://www.baidu.com/s?wd=";
String u = "";
String str="";
String s="";
System.out.println("seowhy关键词排名情况：");
while ((line = br.readLine()) != null) {
str=URLEncoder.encode(line,"utf-8");
u = url + str + "&rn=20";
s = line+" "+getContentByJsoup(u);
System.out.println(s);
i++;
}
br.close();
return i;
}
public static void main(String args[]) throws IOException{
int keys = readkeyfromfile();
System.out.println("关键词个数：" + keys);
System.out.println("平均排名：" + sum / keys);
System.out.println("耗时==" + time);
}
}

复制代码

*发表于 2014-6-21 21:46:48* · 发表于 2014-6-21 21:46:48

推荐早日投入Python怀抱。

随便看到的一小段代码：
s.contains(str)

Java还算比较简洁，PHP版是：
strpos(s, str)!==false

PHP还不能用!=false，可能会出错。因为str出现在起始的时候值是0，没找到的时候值是false，!=false会混淆两者，一定要限定变量类型相同。

连这么个常用功能，都要纠结程序角度的概念，实在是太过于繁琐。

我当初放弃PHP改学Python，其中一部分原因就是这类情况。

Python版非常简单而且符合日常思维：
str in s

str是否在s里面，超级简单。

感觉这才是给人用的编程语言。

楼主| *发表于 2014-6-22 09:28:01* · 发表于 2014-6-22 09:28:01

ZERO 发表于 2014-6-21 21:46
推荐早日投入Python怀抱。

随便看到的一小段代码：

呵呵，Python目前在看，还不熟练，不过我确实是感觉到python在语法方面很简洁

*发表于 2014-6-22 16:55:09* · 发表于 2014-6-22 16:55:09

我提一个小小的建议，得出结果是否能够排列整齐些？这样看起来很乱。

楼主| *发表于 2014-6-22 19:33:44* · 发表于 2014-6-22 19:33:44

丶小苞发表于 2014-6-22 16:55
我提一个小小的建议，得出结果是否能够排列整齐些？这样看起来很乱。

恩恩，注意到了，改了后会贴出来

楼主| *发表于 2014-6-23 14:41:30* · 发表于 2014-6-23 14:41:30

改正了输出结果对齐，尝试了制表符，不过没起效果，后来取了个巧，不过这个方法应该不能适用所有，没测试，对目前的数据有效果，不过关键词中有空格不生效，不管是在关键词前后还是中间
改了readkeyfromfile函数

public static int readkeyfromfile() throws IOException {
BufferedReader br = new BufferedReader(new InputStreamReader(
new FileInputStream("E:/workspace/key.txt"), "UTF-8"));
String line = "";
int i = 0;
String url = "http://www.baidu.com/s?wd=";
String u = "";
String str="";
String s="";
System.out.println("seowhy关键词排名情况：");
while ((line = br.readLine()) != null) {
str=URLEncoder.encode(line,"utf-8");
u = url + str + "&rn=20";
if(line.length()<6){
s = line+"\t\t\t"+getContentByJsoup(u);
}else{
s = line+"\t\t"+getContentByJsoup(u);
}
System.out.println(s);
i++;
}
br.close();
return i;
}

复制代码

帐号		自动登录	找回密码
密码			注册

Java 实现的关键词批量查询排名和计算平均排名

评分