jsoup解析html/根据关键词拿到论坛帖子信息

以论坛《宽带山》为例，需要根据给定的关键词，取得关于该关键词的所有帖子，包括人气数，发帖主题，回复数，发表人，发表时间，帖子链接，帖子详细文本内容等。

详细代码如下：

Java代码

1. importjava.util.ArrayList;
2. importjava.util.HashMap;
3. importjava.util.List;
4. importjava.util.Map;
6. importorg.jsoup.Jsoup;
7. importorg.jsoup.nodes.Document;
8. importorg.jsoup.nodes.Element;
9. importorg.jsoup.select.Elements;
11. publicclassKeyWordsSearchUtil{
13. /**
14. *根据关键词查询论坛所需信息map
15. *@paramKeyWord传入关键词
16. *@return
17. */
18. publicstaticList<Map<String,Object>>findByKeyWord(StringKeyWord){
20. List<Map<String,Object>>postsList=newArrayList<Map<String,Object>>();
21. Map<String,Object>postsOneMap=null;
22. try{
23. Documentdoc=Jsoup.connect("http://club.pchome.net/forum_1_15____md__1_"+java.net.URLEncoder.encode(KeyWord,"utf-8")+".html")
24. .data("query","Java")
25. .userAgent("Mozilla")
26. .cookie("auth","token")
27. .timeout(10000)
28. .ignoreHttpErrors(true)
29. .post();
31. ElementspostsLs=doc.select("li.i2").not(".h-bg");
32. if(postsLs!=null&&postsLs.size()>0){
33. for(ElementchildPost:postsLs){
34. postsOneMap=newHashMap<String,Object>();
35. postsOneMap.put("postsPopularity",childPost.select("li>span.n2").first().text());
36. postsOneMap.put("postsTitle",childPost.select("span.n3>a").attr("title"));
37. postsOneMap.put("postsFloor",childPost.select("span.n4").first().text());
38. postsOneMap.put("postsCname",childPost.select("a.bind_hover_card").first().text());
39. postsOneMap.put("postsCtime",childPost.select("li>span.n6").first().text());
40. postsOneMap.put("postsUrl","http://club.pchome.net"+childPost.select("span.n3a").attr("href"));
41. postsOneMap.put("postsContents",getContentsByUrl("http://club.pchome.net"+childPost.select("span.n3a").attr("href")));
43. postsList.add(postsOneMap);
44. }
45. }
46. }catch(Exceptione){
47. e.printStackTrace();
48. }
50. returnpostsList;
51. }
53. /**
54. *根据帖子的url获取帖子的文本内容
55. *@paramurl帖子的路径
56. *@return
57. */
58. publicstaticStringgetContentsByUrl(Stringurl){
59. Stringcontents="11";
60. try{
61. Documentdoc=Jsoup.connect(url)
62. .data("query","Java")
63. .userAgent("Mozilla")
64. .cookie("auth","token")
65. .timeout(10000)
66. .ignoreHttpErrors(true)
67. .post();
69. if(doc.select("div.mc").first()!=null){
70. ElementcontentsEle=doc.select("div.mcdiv").first();
71. contents=contentsEle.select("div").first().text();
72. if(contents.contains("[向左转][向右转][原图]")){
73. contents=contents.replace("[向左转][向右转][原图]","");
74. }
75. }
76. }catch(Exceptione){
77. e.printStackTrace();
78. }
79. returncontents;
80. }
82. publicstaticvoidmain(String[]args)throwsException{
83. List<Map<String,Object>>postsList=KeyWordsSearchUtil.findByKeyWord("电影");
84. System.out.println("http://club.pchome.net/forum_1_15____md__1_"+java.net.URLEncoder.encode("电影","utf-8")+".html");
85. System.out.println(postsList.size()+"/////");
86. for(inti=0;i<postsList.size();i++){
87. for(Map.Entry<String,Object>entry:postsList.get(i).entrySet()){
88. System.out.println("key="+entry.getKey()+"|value="+entry.getValue());
89. }
90. System.out.println("-----------------");
91. }
92. //http://club.pchome.net/thread_1_15_7519679.html
93. //Stringstr=getContentsByUrl("http://club.pchome.net/thread_1_15_7519679.html");
94. //System.out.println(str);
95. }
96. }

以上代码能成功抓取宽带山论坛中，关键词为：电影 的相关帖子列表，main方法中已有测试，网络畅通下可测试通过。但上面代码仅为完成功能，性能较差，项目中需重写或优化