HttpClient优化

科学搬砖工

已于 2022-02-10 21:56:17 修改

阅读量1.2k

点赞数

分类专栏： JAVA 文章标签： java 开发语言后端

于 2022-02-10 21:55:17 首次发布

原文链接：https://www.iteye.com/blog/jsczxy2-2117388

版权

JAVA 专栏收录该内容

6 篇文章

订阅专栏

原文链接： https://www.iteye.com/blog/jsczxy2-2117388

首先，HttpClient可以共用，减少创建HttpClient的开销。当然，如果你的应用调用HttpClient并不怎么频繁的话那就没必要共用了，毕竟在内存中维护一个空闲的httpClient对象是不保险的。

其次，Connection可以重用，减少建立连接的开销。

要完成以上两点，可以用多线程下的MultiThreadedHttpConnectionManager管理HttpConnection和HttpClient。MultiThreadedHttpConnectionManager管理的HttpClient是线程安全的，可以做成单例的。但是值得注意的是每个线程应该有自己的HttpMethod和HttpState、HttpConfiguration，以区分每次请求的host和HttpSession 。如下所示：

private static MultiThreadedHttpConnectionManager httpConnectionManager = new MultiThreadedHttpConnectionManager();

private HttpClient client = new HttpClient(httpConnectionManager);

定义好后，在静态块中初始化相关参数

static {              

    //每主机最大连接数和总共最大连接数，通过hosfConfiguration设置host来区分每个主机  

    client.getHttpConnectionManager().getParams().setDefaultMaxConnectionsPerHost(8);

    client.getHttpConnectionManager().getParams().setMaxTotalConnections(48);

    client.getHttpConnectionManager().getParams().setConnectionTimeout(5000);

    client.getHttpConnectionManager().getParams().setSoTimeout(5000);

    client.getHttpConnectionManager().getParams().setTcpNoDelay(true);

    client.getHttpConnectionManager().getParams().setLinger(1000);                   

    //失败的情况下会进行3次尝试,成功之后不会再尝试

    client.getHttpConnectionManager().getParams().setParameter(HttpMethodParams.RETRY_HANDLER, new DefaultHttpMethodRetryHandler());

}

HttpConfiguration中有一些参数对提高性能有一些帮助，主要说明如下：

DefaultMaxConnectionsPerHost参数定义每台主机允许的最大连接数，默认为2。这个参数只能用于一些特定的httpConnectionManager，比如MultiThreadedHttpConnectionManager。

MaxTotalConnections参数表示httpConnectionManager管理的最大连接数，默认为20。同上个参数，这个参数也只是在某些特定的httpConnectionManager中有用。

setTcpNoDelay(true)设置是否启用Nagle算法，设置true后禁用Nagle算法，默认为false（即默认启用Nagle算法）。Nagle算法试图通过减少分片的数量来节省带宽。当应用程序希望降低网络延迟并提高性能时，它们可以关闭Nagle算法，这样数据将会更早地发送，但是增加了网络消耗。

setLinger(1000)设置socket延迟关闭时间，值为0表示这个选项是关闭的，值为-1表示使用JRE的默认设置。

setStaleCheckingEnabled(true)参数设置是否启用旧连接检查，默认是开启的。关闭这个旧连接检查可以提高一点点性能，但是增加了I/O错误的风险（当服务端关闭连接时）。开启这个选项则在每次使用老的连接之前都会检查连接是否可用，这个耗时大概在15-30ms之间[3]。

然后，在每个线程代码中，创建自己的HttpMethod。

还有一个很重要的优化点是采用请求/响应实体流，尤其是在请求频繁数据量大的情况下，很大的实体不会被缓存在内存中而直接发送或接收，采用流能有效的提高性能。虽然这些实体可以是字符串或者字节数组，但是它们容易导致内存泄露，你得小心的使用他们，因为它们是整个实体缓存在内存中的。

对于响应流，采用method的getResponseBodyAsStream()来代替getResponseBody() 和getResponseBodyAsString().如下所示：

HttpClient httpclient = new HttpClient();

  GetMethod httpget = new GetMethod("http://www.myhost.com/");

  try {

    httpclient.executeMethod(httpget);

    Reader reader = new InputStreamReader(httpget.getResponseBodyAsStream(), httpget.getResponseCharSet());

    // consume the response entity

  } finally {

    httpget.releaseConnection();

  }

而对于请求流，可以通过实现RequestEntity自定义自己的各种流，httpclient包含了常见的几种实现，如FileRequestEntity、ByteArrayRequestEntity、StringRequestEntity、MultipartRequestEntity等。使用示例如下：

File myfile = new File("myfile.txt");

PostMethod httppost = new PostMethod("/stuff");

httppost.setRequestEntity(new FileRequestEntity(myfile));

如果客户端和服务器的通讯不需要保持会话状态的话，可以通过禁用Cookie来提高一点点性能，比如蜘蛛爬虫之类应用。如下：

HttpMethod method = new GetMethod();

method.getParams().setCookiePolicy(CookiePolicy.IGNORE_COOKIES);

method.setRequestHeader("Cookie", "special-cookie=value");

参考资料：

1. http://hc.apache.org/httpclient-3.x/performance.html

尽管Android官网推荐在2.3及后续版本中使用HttpURLConnection作为网络开发首选类，但在连接管理和线程安全方面，HttpClient还是具有很大优势。就目前而言，HttpClient仍是一个值得考虑的选择。对于HttpClient的优化，可以从以下几个方面着手：

（1）采用单例模式（重用HttpClient实例）
对于一个通信单元甚至是整个应用程序，Apache强烈推荐只使用一个HttpClient的实例。例如：

    private static HttpClient httpClient = null;

    private static synchronized HttpClient getHttpClient() {
       if(httpClient == null) {
           final HttpParams httpParams = new BasicHttpParams();
           httpClient = new DefaultHttpClient(httpParams);
       }

      return httpClient;
    }

    （2）保持连接（重用连接）
    对于已经和服务端建立了连接的应用来说，再次调用HttpClient进行网络数据传输时，就不必重新建立新连接了，而可以重用已经建立的连接。这样无疑可以减少开销，提升速度。
    在这个方面，Apache已经做了“连接管理”，默认情况下，就会尽可能的重用已有连接，因此，不需要客户端程序员做任何配置。只是需要注意，Apache的连接管理并不会主动释放建立的连接，需要程序员在不用的时候手动关闭连接。

    （3）多线程安全管理的配置
    如果应用程序采用了多线程进行网络访问，则应该使用Apache封装好的线程安全管理类ThreadSafeClientConnManager来进行管理，这样能够更有效且更安全的管理多线程和连接池中的连接。
    （在网上也看到有人用MultiThreadedHttpConnectionManager进行线程安全管理的，后查了下Apache的API，发现MultiThreadedHttpConnectionManager是API 2.0中的类，而ThreadSafeClientConnManager是API 4.0中的类，比前者更新，所以选择使用ThreadSafeClientConnManager。另外，还看到有PoolingClientConnectionManager这个类，是API 4.2中的类，比ThreadSafeClientConnManager更新，但Android SDK中找不到该类。所以目前还是选择了ThreadSafeClientConnManager进行管理）
    例如：

ClientConnectionManager manager = new ThreadSafeClientConnManager(httpParams, schemeRegistry);
httpClient = new DefaultHttpClient(manager, httpParams);

    （4）大量传输数据时，使用“请求流/响应流”的方式
    当需要传输大量数据时，不应使用字符串（strings）或者字节数组（byte arrays），因为它们会将数据缓存至内存。当数据过多，尤其在多线程情况下，很容易造成内存溢出（out of memory，OOM）。
    而HttpClient能够有效处理“实体流（stream）”。这些“流”不会缓存至内存、而会直接进行数据传输。采用“请求流/响应流”的方式进行传输，可以减少内存占用，降低内存溢出的风险。
    例如：

    // Get method: getResponseBodyAsStream()
    // not use getResponseBody(), or getResponseBodyAsString()
    GetMethod httpGet = new GetMethod(url);
    InputStream inputStream = httpGet.getResponseBodyAsStream();

    // Post method: getResponseBodyAsStream()
    PostMethod httpPost = new PostMethod(url);
    InputStream inputStream = httpPost.getResponseBodyAsStream();

（5）持续握手（Expect-continue handshake）
在认证系统或其他可能遭到服务器拒绝应答的情况下（如：登陆失败），如果发送整个请求体，则会大大降低效率。此时，可以先发送部分请求（如：只发送请求头）进行试探，如果服务器愿意接收，则继续发送请求体。此项优化主要进行以下配置：

// use expect-continue handshake
HttpProtocolParams.setUseExpectContinue(httpParams, true);

    （6）“旧连接”检查（Stale connection check）
    HttpClient为了提升性能，默认采用了“重用连接”机制，即在有传输数据需求时，会首先检查连接池中是否有可供重用的连接，如果有，则会重用连接。同时，为了确保该“被重用”的连接确实有效，会在重用之前对其进行有效性检查。这个检查大概会花费15-30毫秒。关闭该检查举措，会稍微提升传输速度，但也可能出现“旧连接”过久而被服务器端关闭、从而出现I/O异常。
    关闭旧连接检查的配置为：
    // disable stale check
    HttpConnectionParams.setStaleCheckingEnabled(httpParams, false);

    （7）超时设置
    进行超时设置，让连接在超过时间后自动失效，释放占用资源。
    // timeout: get connections from connection pool
    ConnManagerParams.setTimeout(httpParams, 1000);
    // timeout: connect to the server
    HttpConnectionParams.setConnectionTimeout(httpParams, DEFAULT_SOCKET_TIMEOUT);
    // timeout: transfer data from server
    HttpConnectionParams.setSoTimeout(httpParams, DEFAULT_SOCKET_TIMEOUT);

    （8）连接数限制
    配置每台主机最多连接数和连接池中的最多连接总数，对连接数量进行限制。其中，DEFAULT_HOST_CONNECTIONS和DEFAULT_MAX_CONNECTIONS是由客户端程序员根据需要而设置的。
    // set max connections per host
    ConnManagerParams.setMaxConnectionsPerRoute(httpParams, new ConnPerRouteBean(DEFAULT_HOST_CONNECTIONS));
    // set max total connections
    ConnManagerParams.setMaxTotalConnections(httpParams, DEFAULT_MAX_CONNECTIONS);

经过优化后，上一篇日志中的getHttpClient()方法代码如下：

私有静态同步 HttpClient getHttpClient() {    
    如果（httpClient ==  null ）{  
        最终 的 HttpParams httpParams =  new  BasicHttpParams();    
          
        // timeout: 从连接池中获取连接  
        ConnManagerParams.setTimeout(httpParams,  1000 );    
        // timeout: 连接服务器  
        HttpConnectionParams.setConnectionTimeout(httpParams, DEFAULT_SOCKET_TIMEOUT);  
        // 超时：从服务器传输数据  
        HttpConnectionParams.setSoTimeout(httpParams, DEFAULT_SOCKET_TIMEOUT);   
          
        // 设置每个主机的最大连接数  
        ConnManagerParams.setMaxConnectionsPerRoute(httpParams,  new  ConnPerRouteBean(DEFAULT_HOST_CONNECTIONS));    
        // 设置最大总连接数  
        ConnManagerParams.setMaxTotalConnections(httpParams, DEFAULT_MAX_CONNECTIONS);  
          
        // 使用期望继续握手  
        HttpProtocolParams.setUseExpectContinue(httpParams,  true );  
        // 禁用过时检查  
        HttpConnectionParams.setStaleCheckingEnabled(httpParams,  false );  
          
        HttpProtocolParams.setVersion(httpParams, HttpVersion.HTTP_1_1);    
        HttpProtocolParams.setContentCharset(httpParams, HTTP.UTF_8);   
            
        HttpClientParams.setRedirecting(httpParams,  false );  
          
        // 设置用户代理  
        String userAgent =  "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2) Gecko/20100115 Firefox/3.6" ;  
        HttpProtocolParams.setUserAgent(httpParams, userAgent);       
          
        // 禁用 Nagle 算法  
        HttpConnectionParams.setTcpNoDelay(httpParams,  true );   
          
        HttpConnectionParams.setSocketBufferSize(httpParams, DEFAULT_SOCKET_BUFFER_SIZE);    
          
        // 方案：http 和 https  
        SchemeRegistry schemeRegistry =  new  SchemeRegistry();    
        schemeRegistry.register( new  Scheme( "http" , PlainSocketFactory.getSocketFactory(),  80 ));    
        schemeRegistry.register( new  Scheme( "https" , SSLSocketFactory.getSocketFactory(),  443 ));  
  
        ClientConnectionManager manager =  new  ThreadSafeClientConnManager(httpParams, schemeRegistry);    
        httpClient =  new  DefaultHttpClient(manager, httpParams);   
    }         
      
    返回 http客户端；  
}

附录：关于HttpURLConnection的优化，网上资料不多。从Android官网上看到一点，整理一下：

（1）上传数据到服务器时（即：向服务器发送请求），如果上传数据的大小，应该显式设置setFixedLengthStreamingMode(int)来设置上传数据的合理值；如果不知道上传数据的大小，应使用使用——通常使用默认流式传输”作为实际参数设置模式（设置Chunked）“如果函数都设置未设置值，则将两个系统强制执行”中的所有内容都在通过网络缓存至内存中进行传输之前），“很多”内存（可能会众筹），并会这样说。

（2）如果（）输入或输出大量流数据，则需要使用带输出或增加的流数据输入流）；读取时，可暂停流（不使用缓冲流）发送（如我/缓冲流） O，默认的流操作是直接进行磁盘I/O的）；

（3）传输（输入或输出）大量数据时，使用“流”来限制内存中的数据量——即：将数据直接定位为“流”中，而不是存储在字节或字符串中中（这些都存储在内存中）。

参考文章：

HttpClient - HttpClient Performance Optimization Guide

Android上构建基于httpclient的网络连接池_小刚的专栏-优快云博客_android http 连接池

点点-互联网大数据服务商

Android优化HttpClient性能，多线程等_gokingc的技术岛-优快云博客_android httpclient 线程

http://www.iteye.com/topic/1117362

http://hc.apache.org/httpcomponents-client-ga/httpclient/apidocs/org/apache/http/impl/conn/tsccm/ThreadSafeClientConnManager.html

http://hc.apache.org/httpcomponents-client-ga/httpclient/apidocs/org/apache/http/impl/conn/PoolingClientConnectionM