
java抓取
ljl_xyf
这个作者很懒,什么都没留下…
展开
-
java应用程序中嵌入浏览器总结
java应用程序中嵌套浏览器总结,查阅了不少英文资料,最终解决了问题,总结了一下。。。 ^_^ 1. org.eclipse.swt.SWTError: No more handles [Unknown Mozilla path (MOZILLA_FIVE_HOME not set)] SWTError:没有更多的处理[未知Mozilla的路径(MOZILLA_FIV...原创 2012-04-06 10:53:12 · 112 阅读 · 0 评论 -
Java和C#运行命令行并获取返回值 运行bat文件
Java运行命令行的例子 import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; /** * Java运行命令行的例子 * * @author JAVA世纪网(java2000.net) */ public class TestProcess...原创 2015-08-04 10:45:15 · 252 阅读 · 0 评论 -
C#和java调用phantomjs采集ajax加载生成的网页
日前有采集需求,当我把所有的对应页面的链接都拿到手,准备开始根据链接去采集(写爬虫爬取)对应的终端页的时候,发觉用程序获取到的数据根本没有对应 的内容,可是我的浏览器看到的内容明明是有的,于是浏览器查看源代码也发觉没有,此时想起该网页应该是ajax加载的。不知道ajax的小朋友可以去学下 web开发啦。 采集ajax生成的内容手段不外乎两种。一种是通过http观察加载页面时...原创 2015-08-04 09:58:00 · 384 阅读 · 0 评论 -
在XULRunner中获得Cookie
最近在看browser嵌入,找到XULRunner,http://developer.mozilla.org/cn/docs/%E5%88%9B%E5%BB%BA_XPCOM_%E7%BB%84%E4%BB%B6:%E4%BD%BF%E7%94%A8_XPCOM_%E7%BB%84%E4%BB%B6 创建 XPCOM 组件:使用 XPCOM 组件http://developer.mozill...原创 2012-04-20 11:22:50 · 96 阅读 · 0 评论 -
XULRunner with Java: JavaXPCOM Tutorial 4
7. 用JavaXPCOM来自动浏览网页 在这一节里我们将解决一些自动浏览网页中的一些问题,尝试把一下通用的任务抽象成人类可读的方法,因此你可以轻易的阅读 代码并知道它的功能。我们将构建一个Web Browser来加载网页,点击按钮或者超链接,使用XPath来抽取一下有用的信息。在每一个 小节里面,我们都将在我们的浏览器里增加新的功能,因此在最后,我们将有一个Web Browser,它...原创 2012-04-13 17:04:13 · 117 阅读 · 0 评论 -
XULRunner with Java: JavaXPCOM Tutorial 5
7.3 点击Element和填写表单 我们可以安全的加载页面,抽取信息,但是有时浏览网页是需要填写表单并提交或者点击某个元素来触发onclick以便执行一段 JavaScript代码。 嗯,要想点击一个element需要获得这个element(前面的xpathNodes也许可以帮我们做到这点),如果是input element,我们需 要调用它的submit方法,如果是an...原创 2012-04-13 17:03:36 · 148 阅读 · 0 评论 -
XULRunner with Java: JavaXPCOM Tutorial 3
6 加载页面的W3C DOM访问 6.1 mozdom4java库 访问W3C DOM树比访问Mozilla的DOM树要好,因为它是一个动态访问HTML和XML的DOM树的标准。为了实现这个,我们使用从Mozilla DOM到W3C DOM的java Bridge。有一个叫做mozdom4java的项目http://mozdom4java.mozdev.org/index.html。 ...原创 2012-04-06 11:07:21 · 120 阅读 · 0 评论 -
XULRunner with Java: JavaXPCOM Tutorial 1
这篇教程更新于2008年夏天,用来集成SWT和XULRunner来在SWT里显示一个浏览器。要想获得更多信息,请参考 http://www.eclipse.org/swt/faq.php#whatisbrowser 1,简介 这篇教程有两个目的。首先,我们能学到一些XPCOM的概念和怎么通过JavaXPCOM来在java里使用它。其次,我们学到怎么在 java程序里嵌入Fir...原创 2012-04-06 11:03:51 · 239 阅读 · 0 评论 -
XULRunner with Java: JavaXPCOM Tutorial 2
package es.ladyr.javaxpcom.browser; import org.eclipse.swt.SWT; import org.eclipse.swt.browser.ProgressEvent; import org.eclipse.swt.browser.ProgressListener; import or...原创 2012-04-06 10:58:47 · 166 阅读 · 0 评论 -
SWT可交互式Browser控件
在许多平台中,Browser控件皆被作为一个必需的控件给出,并提供了DOM接口,用于访问Browser的内容,相对来说SWT中的Browser控 件就比较薄弱,没有提供DOM的可控制接口,那么,如何和控件所加载的页面进行交互呢?比如需要在集成web应用的环境中实现模拟登陆、自动填表等功能。 SWT中对Browser有不同的实现,目前实现的有IE和Mozilla。在Browser...原创 2012-04-06 10:55:53 · 182 阅读 · 0 评论 -
数据结构之BloomFilter
BloomFilter是什么? BloomFilter主要提供两种操作: add()和contains(),作用分别是将元素加入其中以及判断一个元素是否在其中,类似于Java中的Set接口,它内部采用的byte数组来节 省空间。其独特之处在于contains()方法,当我们需要查询某个元素是否包含在BloomFilter中时,如果返回true,结果可能是不正确 的,也就是元素...原创 2014-12-04 10:12:51 · 155 阅读 · 0 评论