public static void main(String[] args) throws Exception {
String url="www.xxx.com";
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_17);//设置webClient的相关参数
webClient.setJavaScriptEnabled(true);
webClient.setCssEnabled(false);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.setTimeout(50000);
webClient.setThrowExceptionOnScriptError(false);
//模拟浏览器打开一个目标网址
HtmlPage rootPage= webClient.getPage(url);
System.out.println("为了获取js执行的数据 线程

本文介绍了如何使用HtmlUnit解决网络爬虫抓取JavaScript动态加载内容的问题。通过设置适当的等待时间,结合Jsoup解析HTML,尝试获取指定ID或类名的内容。在数据未成功获取时,会进行重试机制,直到达到预设的最大尝试次数。
最低0.47元/天 解锁文章
699

被折叠的 条评论
为什么被折叠?



