html页面处理请求,在Htmlunit中处理AJAX请求

我点击一个按钮后,有一个程序被编写来从网页上抓取源代码。我无法刮取正确的页面,因为我认为正在发送AJAX请求,并且我不等待此响应发生。我的代码是目前:在Htmlunit中处理AJAX请求

public class Htmlunitscraper {

private static String s = "http://cpdocket.cp.cuyahogacounty.us/SheriffSearch/results.aspx?q=searchType%3dSaleDate%26searchString%3d10%2f21%2f2013%26foreclosureType%3d%27NONT%27%2c+%27PAR%27%2c+%27COMM%27%2c+%27TXLN%27";

public static String scrapeWebsite() throws IOException {

java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(Level.OFF);

System.setProperty("org.apache.commons.logging.Log", "org.apache.commons.logging.impl.NoOpLog");

final WebClient webClient = new WebClient();

final HtmlPage page = webClient.getPage(s);

final HtmlForm form = page.getForms().get(2);

final HtmlSubmitInput button = form.getInputByValue(">");

final HtmlPage page2 = button.click();

String originalHtml = page2.refresh().getWebResponse().getContentAsString();

return originalHtml;

}

}

参照本link后,我认为解决这个问题,我可以实现方法“webClient.waitForBackgroundJavaScript(10000)”。唯一的问题是我不明白如何做到这一点,因为每次我点击按钮,我创建一个HtmlPage对象,而不是一个WebClient对象。我怎么能结合这种方法来解决这个问题?

2013-10-23

Ctech45

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值