
爬虫
syf_wfl
java
展开
-
java爬虫学习记录
1.程序主体 2.代码描述原创 2021-08-09 23:59:14 · 125 阅读 · 0 评论 -
java爬虫爬取动态页面记录
最开始采用的HttpClient获取页面+Jsoup分析页面,但是获取不到想要的页面内容,发现自己想要的数据是js生成的,HttpClient加了头和Cookie还是获取不到,最后采用的htmlunit获取页面就可以了。 WebClient webClient=new WebClient(); WebClientOptions options = webClient.getOptions(); options.setJavaScriptEnabled(true原创 2021-08-07 10:58:31 · 1346 阅读 · 0 评论