Java 爬虫--类似Python的requests库--HttpClient， HttpAsyncClient--Maven

zhangpeterx

于 2019-04-22 15:59:06 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： java

本文链接：https://blog.youkuaiyun.com/zhangpeterx/article/details/89453709

本文介绍了在Java中寻找类似于Python requests库的爬虫解决方案，最终选择了HttpComponents，并详细说明了如何使用HttpClient和HttpAsyncClient进行网页抓取。通过Maven添加相关依赖，并给出了异步爬虫的示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天在找Java的爬虫的库，发现Java的爬虫框架挺多的，常见的有nutch，Heritrix，crawler4j等。

但我想要的是类似Python的requests库的Java库。

看到一个库叫Unirest，但是我尝试后发现并不好用，而且这个库的最后更新时间是16年。

最后我选择了HttpComponents ,里面包含的组件有 HttpClient， HttpAsyncClient 。

在Maven中添加如下依赖：

    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>httpclient</artifactId>
      <version>4.5.8</version>
    </dependency>
    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>httpasyncclient