爬虫：使用Jsoup解析通过Http请求获取的页面数据（二）

南风_o

于 2021-04-27 14:54:43 发布

阅读量415

点赞数

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/qq_38769513/article/details/116198956

版权

本文介绍了Java通过HttpClient库抓取网页HTML的基础与进阶用法，包括设置请求头和使用代理IP来应对反爬虫策略。通过示例代码展示了HttpClient的入门实例和复杂应用，讨论了遇到反爬虫时如何伪装请求和切换IP来避免被检测。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Java爬虫系列二：使用HttpClient抓取页面HTML

爬虫要想爬取需要的信息，首先是要爬取对方页面的html，然后通过Joup进行解析，获取想要的参数。

上篇文章提到过使用Jsoup解析通过Http请求获取的页面数据（一）HttpClient可以获取对方页面html

今天围绕以下几点来介绍HttpClient

1、HttpClient是什么

2、Http入门实例

3、复杂使用

一、什么是HttpClient

度娘：

HttpClient 是Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。
以下列出的是 HttpClient 提供的主要的功能，要知道更多详细的功能可以参见 HttpClient 的官网：
（1）实现了所有 HTTP 的方法（GET,POST,PUT,HEAD 等）
（2）支持自动转向
（3）支持 HTTPS 协议
（4）支持代理服务器等

这里面提到了官网，那就顺便说下它官网上的一些东西。

根据百度给出的HomePage是这个：http://hc.apache.org/httpclient-3.x/，但是进入后你会发现有句话