Java爬虫（六）-- httpClient进阶：超时时间设置+cookie保存策略

最新推荐文章于 2023-10-25 15:56:21 发布

原创最新推荐文章于 2023-10-25 15:56:21 发布 · 611 阅读

0 ·

CC 4.0 BY-SA版权

本文详述了HttpClient中连接超时、读取数据超时的设置，并探讨了不同Cookie保存策略，包括Standard strict、Default等，同时提及了自定义Cookie策略的可能性。

一、前言

本文主要介绍httClient超时时间设置，以及cookie保存策略设置。

二、超时时间设置

httpClient内部有三个超时时间设置：

connectTimeout -- 连接超时

指的是连接目标url的连接超时时间，即客服端发送请求到与目标url建立起连接的最大时间。如果在该时间范围内还没有建立起连接，则就抛出connectionTimeOut异常。如测试的时候，将url改为一个不存在的url："http://test.com"，超时时间3000ms过后，系统报出异常：

org.apache.commons.httpclient.ConnectTimeoutException:The host did not accept the connection within timeout of 3000 ms

connectionRequestTimeout -- 连接池获取可用连接超时（使用连接池之后需要设置）

httpClient中的要用连接时尝试从连接池中获取，若是在等待了一定的时间后还没有获取到可用连接（比如连接池中没有空闲连接了）则会抛出获取连接超时异常。

socketTimeout -- 读取数据超时

设置超时时间的意义在于，让你知道在哪个地方出问题了。就比如如果请求返回超时，如果你没设置读取数据超时，程序就会一直卡在那个地方，也不会报错。

httpClient4.5版本之后，这几个参数的设置就集成抽象到了RequestConfig中，具体的例子如下：

RequestConfig defaultRequestConfig = RequestConfig.custom()
                .setSocketTimeout(10000)
                .setConnectTimeout(5000)
                .setConnectionRequestTimeout(5000)
                .build();

BasicCookieStore httpClient = HttpClients.custom()
                .setDefaultRequestConfig(defaultRequestConfig)
                .build();

cookie保存策略设置

CookieSpec接口代表了cookie管理的规范，cookie管理规范包含如下内容：

解析Set-Cookie头部的规则
验证已解析cookie的规则
为已给定主机，端口和源路径格式化Cookie头部

httpClient附带多种CookieSpec实现：

Standard strict：状态管理策略行为完全符合RFC6265第四章的行为定义。
Standard：状态管理策略较为符合RFC6265第四章定义的行为，以期望在不是完全遵守该行为之间的服务器之间进行交互。
Netscape 草案（已过时）：该策略遵守Netscape公司公布最初的规范草案，除非确实需要与旧代码兼容，否则尽量避免使用它。
RFC 2965（已过时）：状态管理策略符合过时的RFC2965定义的状态管理规范。请不要在新应用中使用。
RFC2109（已过时）：状态管理策略符合过时的RFC2109定义的状态管理规范，请不要在新应用中使用。
Browser compatibility（已过时）：该策略尝试尽量去模拟老旧的浏览器版本如微软IE和Mozilla FireFox，请不要在新应用中使用。
Default：默认cookie策略是一种综合性的策略，其基于HTTP response返回的cookie属性如version信息，过期信息，与RFC2965,RFC2109或者Netscape草案兼容，该策略将会在下一个HttpClient小版本（基于RFC6265）中废弃。
Ignore cookies：所有的cookie都被忽略

上面讲这么多估计大家也不会怎么看，会用到的主要是Standard strict、Standard，Ignore cookies也可能会用到。

如果对于cookie解析有定制化的要求，httpClient也允许我们自定义cookie策略。为了实现定制cookie策略，你应该创建一个自定义的CookieSpec接口的实现，创建一个CookieSpecProvider的实现类，然后用该实现类去创建和初始化自定义规范的实例，然后使用httpClient进行注册，一旦自定义规范被注册，它就会如同标准cookie规范一样被触发。

具体怎么做不在本篇文章中讲，等我遇到来添上。

怎么设置cookie策略的代码如下：

RequestConfig defaultRequestConfig = RequestConfig.custom()
    // 防止cookie reject 在新程序中，强烈建议使用Standard或Standard strict策略
                .setCookieSpec(CookieSpecs.STANDARD_STRICT) 
                .build();

BasicCookieStore httpClient = HttpClients.custom()
                .setDefaultRequestConfig(defaultRequestConfig)
                .build();