jsoup-Elements的遍历（使用Iterator迭代器）

最新推荐文章于 2024-10-27 14:22:38 发布

疗愁

最新推荐文章于 2024-10-27 14:22:38 发布

阅读量1.1w

点赞数

CC 4.0 BY-SA版权

分类专栏：工作所学文章标签： jsoup java 爬虫

本文链接：https://blog.youkuaiyun.com/shengfn/article/details/53584339

工作所学专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一种使用Java实现的网页数据爬取方法，通过HttpClient发起请求并利用Jsoup解析HTML文档来抓取表格中的数据。该过程包括了HTTP客户端的创建、发送GET请求、处理响应内容以及对网页元素进行迭代等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

    public void crawlingData(){
        String url = "http://……";
        HttpClientBuilder hcb = HttpClientBuilder.create();
        CloseableHttpClient hc = hcb.build();
        HttpUriRequest get = new HttpGet(url);          
        CloseableHttpResponse responseCode;
        try {
            responseCode = hc.execute(get);
            HttpEntity dataEnt = responseCode.getEntity();      
            String htmlString = EntityUtils.toString(dataEnt,"utf-8");
            Document htmlDocument = Jsoup.parse(htmlString);            
            Elements elements = htmlDocument.getElementsByTag("tr");
            //获取迭代器 
            Iterator it = elements.iterator();          
            while(it.hasNext()) {  
                Element element = (Element)it.next();
                Node titleNode= element.child(0).childNode(0);              
                //遍历中。。。。。。 
            }   
        } catch (ClientProtocolException e) {
            System.out.println("详情页网络连接出错："+url);
            e.printStackTrace();
        } catch (IOException e) {
            System.out.println("访问详情页出错："+url);
            e.printStackTrace();
        }
}