HTTPClient扒取网页源码

最新推荐文章于 2025-07-16 16:03:52 发布

原创

最新推荐文章于 2025-07-16 16:03:52 发布 · 2.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#httpclient

这篇博客总结了使用HTTPClient进行网页抓取的实践经验，包括GET和POST方法的使用。作者发现HTTPClient只能获取到JS执行前的源码，而非所需的实际动态页面内容。

最近公司新需求，关于后台扒取对应URL网页的参数，在本地生成HTML文档的。所以着手看了一些这方面的东西，都挺浅的，只是对这段时间的学习做个总结。

HTTPClient

最先上手的是HTTPClient。HTTPClient实现了所有http的方法，自然包括了POST和GET两种了。

GET方法

GET方法主要包含了6个步骤

1. 创建 HttpClient 的实例
2. 创建某种连接方法的实例，在这里是GetMethod。在 GetMethod 的构造函数中传入待连接的地址
3. 调用第一步中创建好的实例的 execute 方法来执行第二步中创建好的 method 实例
4. 读 response
5. 释放连接。无论执行方法是否成功，都必须释放连接
6. 对得到后的内容进行处理

示例代码如下：

 CloseableHttpClient httpclient = HttpClients.createDefault();  
    //实例化get方法  
    HttpGet httpget = new HttpGet(url);   
    //请求结果  
    CloseableHttpResponse response = null;  
    String content ="";  
    try {  
        //执行get方法  
        response = httpclient.execute(httpget);  
        if(response.getStatusLine().getStatusCode()==200){  
            content = EntityUtils.toString(response.getEntity(),"utf-8");  
            System.out.println(content);  
        }  
    } catch (ClientProtocolException e) {