实现Ajax友好的搜索引擎爬虫-jrex,gecko

现在web2.0如火如荼，Ajax技术获得了广大的运用，比如咱网易博客，搜狐博客等，仔细研究下这些网站，你会发现他们对搜索引擎很不友好，因为什么 呢，因为这些网站都使用了后加载技术，就是说是在JS里面去动态加载内容的，最典型的就是个人博客的首页，那么多模块都是后加载进来的。对于一般的搜索引 擎来说，他只会抓取网页，然后分析网页的内容，如果搜索引擎来抓个人博客的首页的话，看到的除了head区域，其他的就没有内容了，因为搜索引擎不会执行 页面。 这样就提出了一个问题，怎么实现Ajax友好的爬虫呢，就是说虽然我这个网站引用了Ajax实现了后加载技术，也照样可以抓取我的内容。 可能大家有个疑问，既然这样，为什么在google百度，还能搜到我的日志内容呢，那是因为网易博客的日志页面是使用了静态页面的技术，日志的内容都在网 页内呢，呵呵，另外还有每个博客都有RSS地址，搜索引擎可以通过爬取RSS来获得内容。
如何爬取后加载的网页呢，简单点说我们爬取的网页应该是像firefox中的view genernated Source这样的网页内容，而不是现在搜索搜索引擎使用的view source内容。 要实现这样的效果，firefox使用的开源GECKO 引擎可以实现我们想要的效果，因为我们使用java来做爬虫的话，jrex已经为gecko做好了封装，很容易使用。
一、 介绍

"JRex" is a Java Browser Component with set of API's for Embedding Mozilla GECKO within a Java Application.

Jrex提供了对firefox的引擎的java形式的封装。默认的gecko引擎是以C++ dll的形式提供的，Jrex主要是做了JNI这层的封装，并提供了Java的接口
二、 安装

网址： http://jrex.mozdev.org/

1. 下载 jrex-bin-log-1.0b1_dom3.zip和jrex_gre.jar

2. 将jrex_gre.jar的后缀改为rar,打开后将最里面的jrex_gre文件夹复制到C:\中，然后将jrex-bin-log-1.0b1_dom3.zip中的jrex.dll文件复制到 C:\jrex_gre 目录中。

3. 直接运行run.bat即可看到用jrex实现的java浏览器，还不错噢。

注意，那个JAVA_HOME应该是JRE的，而不是JDK的，否则会找不到的一个jwt.dll

"C:\Program Files\Java\jre1.5.0_06/bin/java"

三、 编程

实现效果： firefox中的view generated Source

代码如下：

Java代码

2. importjava.io.StringWriter;
4. importjavax.swing.JFrame;
6. importjavax.swing.JPanel;
8. importjavax.xml.transform.OutputKeys;
10. importjavax.xml.transform.Result;
12. importjavax.xml.transform.Source;
14. importjavax.xml.transform.Transformer;
16. importjavax.xml.transform.TransformerFactory;
18. importjavax.xml.transform.dom.DOMSource;
20. importjavax.xml.transform.stream.StreamResult;
22. importorg.mozilla.jrex.JRexFactory;
24. importorg.mozilla.jrex.event.progress.ProgressEvent;
26. importorg.mozilla.jrex.navigation.WebNavigation;
28. importorg.mozilla.jrex.navigation.WebNavigationConstants;
30. importorg.mozilla.jrex.ui.JRexCanvas;
32. importorg.mozilla.jrex.window.JRexWindowManager;
34. importorg.w3c.dom.Document;
36. importorg.w3c.dom.Element;
38. importorg.w3c.dom.Node;
40. publicclassRenderimplementsorg.mozilla.jrex.event.progress.ProgressListener{
42. booleandone=false;
44. publicbooleanparsePage(Stringurl)throwsException{
46. System.setProperty("jrex.browser.usesetupflags","true");
48. System.setProperty("jrex.browser.allow.images","false");//不加载图片
50. System.setProperty("jrex.browser.allow.plugin","false");//不加载flash
55. //TheJRexCanvasisthemainbrowsercomponent.TheWebNavigator
57. //isusedtoaccesstheDOM.
59. JRexCanvascanvas=null;
61. WebNavigationnavigation=null;
63. //StartupJRex/Gecko.
65. JRexFactory.getInstance().startEngine();
67. //GetawindowmanagerandputthebrowserinaSwingframe.
69. //BasedonDietrichKappe'scode.
71. JRexWindowManagerwinManager=(JRexWindowManager)JRexFactory
73. .getInstance().getImplInstance(JRexFactory.WINDOW_MANAGER);
75. winManager.create(JRexWindowManager.SINGLE_WINDOW_MODE);
77. JPanelpanel=newJPanel();
79. JFrameframe=newJFrame();
81. frame.getContentPane().add(panel);
83. winManager.init(panel);
85. //GettheJRexCanvas,setRendertohandleprogresseventsso
87. //wecandeterminewhenthepageisloaded,andgetthe
89. //WebNavigatorobject.
91. canvas=(JRexCanvas)winManager.getBrowserForParent(panel);
93. canvas.addProgressListener(this);
95. navigation=canvas.getNavigator();
97. //Loadandprocessthepage.
99. navigation.loadURI(url,WebNavigationConstants.LOAD_FLAGS_NONE,null,
101. null,null);
103. //Swingmagic.
105. frame.setSize(640,480);
107. frame.setVisible(false);
109. //CheckiftheDOMhasloadedeverytwoseconds.
111. while(!done){
113. Thread.sleep(2000);
115. }
117. //GettheDOMandrecurseonitsnodes.
119. Documentdoc=navigation.getDocument();
121. Elementex=doc.getDocumentElement();
123. System.out.println(xmlToString(ex));
125. returntrue;
127. }
129. publicstaticStringxmlToString(Nodenode)throwsException{
131. Sourcesource=newDOMSource(node);
133. StringWriterstringWriter=newStringWriter();
135. Resultresult=newStreamResult(stringWriter);
137. TransformerFactoryfactory=TransformerFactory.newInstance();
139. Transformertransformer=factory.newTransformer();
141. transformer.setOutputProperty(OutputKeys.METHOD,"html");
143. transformer.transform(source,result);
145. returnstringWriter.getBuffer().toString();
147. }
149. /**
151. *onStateChangeisinvokedseveraltimeswhenDOMloadingiscomplete.Set
153. *thedoneflagthefirsttime.
155. */
157. publicvoidonStateChange(ProgressEventevent){
159. if(!event.isLoadingDocument()){
161. if(done)
163. return;
165. done=true;
167. }
169. }
171. publicstaticvoidmain(String[]args)throwsException{
173. Renderp=newRender();
175. p.parsePage("http://ilovelate.blog.163.com");
177. System.exit(0);
179. }
181. publicvoidonLinkStatusChange(ProgressEventevent){
183. }
185. publicvoidonLocationChange(ProgressEventevent){
187. }
189. publicvoidonProgressChange(ProgressEventevent){
191. }
193. publicvoidonSecurityChange(ProgressEventevent){
195. }
197. publicvoidonStatusChange(ProgressEventevent){
199. }
201. }