关于HttpClient连接池并发与回收连接

关于HttpClient连接池并发与回收连接

由于之前使用httpclient遇见了一些问题然后稍微研究一下这东西

首先httpclient连接池通过PoolingHttpClientConnectionManager实现,由于每次请求我要使用不同的proxy所以这里并没有配置requestConfig，其余配置使用默认即可

 private static int maxSize = 100;
   private static PoolingHttpClientConnectionManager poolingHttpClientConnectionManager;
   private static HttpRequestRetryHandler httpRequestRetryHandler;
   private static HttpClientBuilder httpClientBuilder;
   private static CloseableHttpClient closeableHttpClient;
   private static final Object MUTEX = new Object();
   static {
       poolingHttpClientConnectionManager = new PoolingHttpClientConnectionManager();
       poolingHttpClientConnectionManager.setMaxTotal(maxSize);
       poolingHttpClientConnectionManager.setDefaultMaxPerRoute(2);
       httpRequestRetryHandler = new HttpRequestRetryHandler() {
           @Override
           public boolean retryRequest(IOException e, int executionCount, HttpContext httpContext) {
               if (executionCount >= 3) {// 如果已经重试了3次，就放弃
                   return false;
               }
               if (e instanceof NoHttpResponseException) {// 如果服务器丢掉了连接，那么就重试
                   return true;
               }
               if (e instanceof SSLHandshakeException) {// 不要重试SSL握手异常
                   return false;
               }
               if (e instanceof InterruptedIOException) {// 超时
                   return false;
               }
               if (e instanceof UnknownHostException) {// 目标服务器不可达
                   return false;
               }
               if (e instanceof ConnectTimeoutException) {// 连接被拒绝
                   return false;
               }
               if (e instanceof SSLException) {// SSL握手异常
                   return false;
               }
               return false;
           }
       };
       httpClientBuilder = HttpClients.custom();
       httpClientBuilder.setConnectionManager(poolingHttpClientConnectionManager);
       httpClientBuilder.setRetryHandler(httpRequestRetryHandler);

   }

先说说httpclient连接池，开始我认为是没一次并发通过httpClientBuilder创建一个新的CloseableHttpClient对象，使用该对象去发起请求，使用完成后即可回收到池中，后来发现每次创建的对象，无论在什么样的配置下都没有被复用过，也就是说跟本没有起到连接池的作用，下图使用30个线程同时去请求的结果，看起来只有两个成功了其余的全部按照setConnectionRequestTimeout的超时时间抛出异常

上图是两个不同的CloseableHttpClient对象，每个执行成功了一次，为啥是只有两个呢？难道是因为只配置了两个路由的缘故吗？

poolingHttpClientConnectionManager.setDefaultMaxPerRoute(2);

尝试修改了一下，改成5个，果然有五个成功了，但是依然报了异常

看起来就是这五个连接被使用过之后就没有其余的连接可以使用了，导致的超时，那么就是说使用完没有被回收，接下来改造一下代码,加上了释放连接

再试试

看起来好像可以，每次被使用过得连接回收到池中了，但是每次创建都很耗时间，而且有没有发现连接和httpClientBuilder.build()创建的对象貌似没什么关系，不会因为Httpclient对象变多而变多（10个对象也同时只享有5个连接，除非每个对象都绑定一个连接池），无论有多少个对象只有poolingHttpClientConnectionManager.setDefaultMaxPerRoute(2);设置的数量可以同时并发，那继续优化将连接改为单例

public static CloseableHttpClient getClient(){
        synchronized (MUTEX){
            if(closeableHttpClient != null){
                return closeableHttpClient;
            }else{
                return closeableHttpClient = httpClientBuilder.build();
            }
        }
    }

然后继续尝试一下

总结就是，连接池与httpClientBuilder绑定之后，通过
httpClientBuilder.build()创建的CloseableHttpClient对象共享一个连接池中的路由数量，并且使用过的连接通过 httpGet.releaseConnection();方法回收到池中，如果不回收后续的连接被用完，再从池中取连接就会根据RequestConfig的ConnectionRequestTimeout设置的时间进行超时。