Java爬虫（三）-- httpClient 模拟登录 + cookie 登录状态管理

前言

前面两章内容阐述了httpClient怎么模拟Http请求和如何解析页面。

接下去会讲在一些实战中遇到的问题。

现在回到我的开发摸索之路，之前说到我所爬取的网页是某个险企提供给合作公司的一个页面，通过账号登录然后爬取指定的数据。

这里就出现本章要写的主题了。模拟登录。

我首先确认登录验证的请求所需要携带的参数：

可以看到，登录需要验证码，并且密码不是明文传输的，而是通过前端js加密过后产生的，并且每次都会不一样，所以要模拟这个加密的过程。还有一些别的参数，是可以在页面上解析出来的。

实战

我觉得里面困难的地方是验证码识别，和怎么模拟前端js加密。

验证码

关于验证码识别的解决方案，有很多种，复杂的可以用图像识别算法，有钱的可以直接上接口，由于我只是想先将功能实现，所以就采用了最简单的方式，把验证码图像下载到本地，手动输入。

这里面要提一下，httpClient有自动管理cookie的功能，什么意思呢，就是说你只要用httpClient模拟登录成功之后，你的后续操作就是无须再登录了，只需要隔一段时间再去用这个cookie请求一次，保持这个登录的cookie不失效即可。

访问登录页面之后，去登录页面中解析出验证码图片的src，或者是模拟页面重新发起一次请求验证码的请求，得到服务器端返回的编码过后的imgSrc，一般