itcast-crawler-first(HttpClientPoolTest)

最新推荐文章于 2023-05-21 15:42:55 发布

wang_ning19881220

最新推荐文章于 2023-05-21 15:42:55 发布

阅读量190

点赞数

分类专栏： Java

本文链接：https://blog.youkuaiyun.com/qq_22207087/article/details/87910666

版权

Java 专栏收录该内容

8 篇文章

订阅专栏

本文介绍了一种使用Apache HttpClient实现的连接池管理方法，通过限制最大连接数和每主机连接数，有效提升网络请求效率。文章详细展示了如何创建连接池、设置参数以及复用HttpClient实例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package cn.itcast.crawler;

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class HttpClientPoolTest {
    public static void main(String[] args) {
        //创建连接池管理器
        PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();

        //设置最大连接数
        cm.setMaxTotal(100);

        //设置每个主机的最大连接数
        cm.setDefaultMaxPerRoute(10);

        //使用连接池管理器管理请求
        doGet(cm);
        doGet(cm);
    }

    private static void doGet(PoolingHttpClientConnectionManager cm) {
        //不是每次创建新的的HttpClient,而是从连接池中获取HttpClient对象
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();

        HttpGet httpGet = new HttpGet("http://www.itcast.cn");

        CloseableHttpResponse response = null;
        try {
            response = httpClient.execute(httpGet);
            if(response.getStatusLine().getStatusCode() == 200){
                String content = EntityUtils.toString(response.getEntity(), "utf8");
                System.out.println(content.length());
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            if(response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
                //不能关闭HttpClient,由连接池管理HttpClient
//                httpClient.close();
            }
        }
    }
}