HttpClient简单使用

最新推荐文章于 2024-08-31 14:09:04 发布
原创 最新推荐文章于 2024-08-31 14:09:04 发布 · 142 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍Apache HttpClient的使用方法，包括创建实例、模拟浏览器请求、获取响应内容及状态码等。此外，还介绍了如何设置代理和超时配置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简介

HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。

官网 http://hc.apache.org/httpcomponents-client-4.5.x/index.html

简单实例

创建一个maven工程,添加httpclient依赖最新版为4.5.7

1
2
3
4
5
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.7</version>
</dependency>

创建一个httpclient实例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
    
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class HttpClientDemo {
    public static void main(String[] args)  throws IOException{
        //创建httpclient实例
        CloseableHttpClient httpclient = HttpClients.createDefault();
        // 创建httpget实例
        HttpGet httpget = new HttpGet("https://www.cnblogs.com/");

            CloseableHttpResponse response = httpclient.execute(httpget);
            //返回实体
            HttpEntity entity = response.getEntity();

            String toString = EntityUtils.toString(entity, "utf-8");
            System.out.println(toString);

            //关闭流和释放系统资源
            response.close();
            httpclient.close();

    }
}

> 成功获取并打印

httpclient

模拟浏览器

有的网站有限制比如请求 www.tuicool.com

不加请求头

返回

1
2
3
4
5
6
7
8
9
<!DOCTYPE html>
<html>
    <head>
          <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
    </head>
    <body>
        <p>系统检测亲不是真人行为，因系统资源限制，我们只能拒绝你的请求。如果你有疑问，可以通过微博 http://weibo.com/tuicool2012/ 联系我们。</p>
    </body>
</html>

设置请求头

通过设置 User-Agent 达到模拟请求
httpget.setHeader(“User-Agent”,”Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36”);

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class HttpClientDemo {
    public static void main(String[] args) throws IOException {
        //创建httpclient实例
        CloseableHttpClient httpclient = HttpClients.createDefault();

        // 创建httpget实例
        HttpGet httpget = new HttpGet("https://www.tuicool.com/");

        //设置请求头模拟浏览器
        httpget.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36");

        CloseableHttpResponse response = httpclient.execute(httpget);
        //返回实体
        HttpEntity entity = response.getEntity();

        String toString = EntityUtils.toString(entity, "utf-8");
        System.out.println(toString);

        //关闭流和释放系统资源
        response.close();
        httpclient.close();

    }
}

HttpClient

获取响应内容

HttpClient获取响应内容类型Content-Type

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

import org.apache.http.Header;
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class HttpClientDemo {
    public static void main(String[] args) throws IOException {
        //创建httpclient实例
        CloseableHttpClient httpclient = HttpClients.createDefault();

        // 创建httpget实例
        HttpGet httpget = new HttpGet("https://www.tuicool.com/");

        //设置请求头模拟浏览器
        httpget.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36");

        CloseableHttpResponse response = httpclient.execute(httpget);
        //返回实体
        HttpEntity entity = response.getEntity();

        String toString = EntityUtils.toString(entity, "utf-8");
        System.out.println(toString);

        //获取响应内容类型Content-Type
        Header contentType = entity.getContentType();

        System.out.println(contentType);

        //关闭流和释放系统资源
        response.close();
        httpclient.close();

    }
}
1
Content-Type: text/html; charset=utf-8

获取响应状态码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

import org.apache.http.Header;
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class HttpClientDemo {
    public static void main(String[] args) throws IOException {
        //创建httpclient实例
        CloseableHttpClient httpclient = HttpClients.createDefault();

        // 创建httpget实例
        HttpGet httpget = new HttpGet("https://www.tuicool.com/");

        //设置请求头模拟浏览器
        httpget.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36");

        CloseableHttpResponse response = httpclient.execute(httpget);
        //返回实体
        HttpEntity entity = response.getEntity();

        String toString = EntityUtils.toString(entity, "utf-8");
        System.out.println(toString);

        //获取响应内容类型Content-Type
        Header contentType = entity.getContentType();

        System.out.println(contentType);

        //获取响应状态码
        int statusCode = response.getStatusLine().getStatusCode();

        System.out.println(statusCode);
        
        //关闭流和释放系统资源
        response.close();
        httpclient.close();

    }
}
1
statusCode 200

设置代理

在爬取网页的时候，有的目标站点有反爬虫机制，对于频繁访问站点以及规则性访问站点的行为，会采集屏蔽IP措施。
使用代理可以使用。

代理ip获取 百度 代理ip
https://www.kuaidaili.com/free/

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

import org.apache.http.Header;
import org.apache.http.HttpEntity;
import org.apache.http.HttpHost;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class HttpClientDemo {
    public static void main(String[] args) throws IOException {
        //创建httpclient实例
        CloseableHttpClient httpclient = HttpClients.createDefault();


        // 创建httpget实例
        HttpGet httpget = new HttpGet("https://www.tuicool.com/");

        //设置请求头模拟浏览器
        httpget.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36");

        //使用代理IP
        HttpHost proxy=new HttpHost("222.135.92.68", 38094);
        RequestConfig requestConfig=RequestConfig.custom().setProxy(proxy).build();
        httpget.setConfig(requestConfig);
        
        CloseableHttpResponse response = httpclient.execute(httpget);
        //返回实体
        HttpEntity entity = response.getEntity();

        String toString = EntityUtils.toString(entity, "utf-8");
        System.out.println(toString);

        //获取响应内容类型Content-Type
        Header contentType = entity.getContentType();

        System.out.println(contentType);

        //获取响应状态码
        int statusCode = response.getStatusLine().getStatusCode();

        System.out.println(" statusCode "+statusCode);

        //关闭流和释放系统资源
        response.close();
        httpclient.close();

    }
}

设置超时

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60


import org.apache.http.Header;
import org.apache.http.HttpEntity;
import org.apache.http.HttpHost;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class HttpClientDemo {
    public static void main(String[] args) throws IOException {
        //创建httpclient实例
        CloseableHttpClient httpclient = HttpClients.createDefault();


        // 创建httpget实例
        HttpGet httpget = new HttpGet("https://www.cnblogs.com/");

        //设置请求头模拟浏览器
        httpget.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36");

        //使用代理IP
        HttpHost proxy=new HttpHost("101.89.132.131", 80);
        RequestConfig requestConfig=RequestConfig.custom().
              //设置连接超时和读取超时
                setSocketTimeout(5000)
                .setConnectTimeout(5000)
                //设置代理
                .setProxy(proxy)
                .build();
        httpget.setConfig(requestConfig);

        CloseableHttpResponse response = httpclient.execute(httpget);
        //返回实体
        HttpEntity entity = response.getEntity();

        String toString = EntityUtils.toString(entity, "utf-8");
        System.out.println(toString);

        //获取响应内容类型Content-Type
        Header contentType = entity.getContentType();

        System.out.println(contentType);

        //获取响应状态码
        int statusCode = response.getStatusLine().getStatusCode();

        System.out.println(" statusCode "+statusCode);

        //关闭流和释放系统资源
        response.close();
        httpclient.close();

    }
}
Jim pretty
关注
java httpclient4.5_Apache HttpClient 4.5.3 使用详解
weixin_36439236的博客
02-24 1647
目录环境准备二进制 Jar 包1、本文的 HttpClient 是指 Apache 官网 HttpComponents 项目下的子项目HttpClient 。2、如果项目使用手动导入 Jar 包的方式，则可以从官网下载，地址：http://hc.apache.org/downloads.cgi3、如果只是使用 HttpClient 做单纯的 get、post 等操作，则需导入下面红色框的几个包即可...
Httpclient4.5详解之源码解析和使用二: 连接池内连接的创建 借出 归还
派大星的博客
09-25 2400
Httpclient4.5详解之源码解析和使用一: 关键执行流程源码解读 承接上文，本文我们查看httpcommons连接池的源码来分析一下连接池将连接缓存起来然后借出的归还的，其中建立的socket连接是如何关闭的，现在我们就通过源码来一看究竟。 创建和借出 上文源码分析流程提到，具体流程会执行到InternalHttpClient#doExecute和execChain#execu...
Java HTTP GET请求示例工程：使用Apache HttpClient在IDEA与Maven环境中实现
weixin_42592399的博客
08-31 2168
本文还有配套的精品资源，点击获取 简介：该工程展示了如何在Java中通过Apache HttpClient库发送HTTP GET请求，并演示了如何处理HTTP请求的Header和Cookie信息。示例工程是在IntelliJ IDEA开发环境中使用Maven构建的，提供了对HTTP协议细节的深入理解，包括连接管理、重试策略以及HTTP/1.1和HTTP/2的处理。工程内含简...
HttpClient
欢迎来到我的博客，一起学习Java！
10-12 623
HttpClient 简介 HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。 HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JD...
httpClient4.5【汇总】
日拱一卒
10-09 853
httpClient4.5中文教程
httpclient简单使用
09-09
本教程将基于标题"HTTPClient简单使用"和提供的文件`HttpService`、`HttpClient`来阐述HTTPClient的基本使用方法。 1. **HTTPClient简介** HTTPClient是Apache的 HttpClient库，它为Java开发者提供了全面的HTTP...
C#中HttpWebRequest、WebClient、HttpClient的使用详解
08-25
HttpClient提供了更直观的API，更易于理解和使用。以下为HttpClient的POST和GET请求示例： ```csharp using System.Net.Http; public static async Task<string> HttpClientPostAsync(string url, string ...
commons-httpclient，java中使用httpclient中使用的扩展工具
03-19
同时，注意HttpClient库已经不再更新，对于新的Java项目，推荐使用现代化的HTTP客户端库，如Apache HttpClient的后继者Apache HTTP Components HttpClient 4.x系列，或者使用Java标准库的`java.net.http.HttpClient`...
httpClienthttpClient
06-08
HttpClient是Apache软件基金...HttpClient库广泛应用于Java开发，无论是简单的HTTP请求还是复杂的Web服务交互，都能提供强大的支持。在使用过程中，注意根据项目需求进行适当的配置和优化，以确保最佳的性能和可靠性。
httpclient-4.5.6的jar包
09-18
httpclient-4.5.6.jar, commons-codec-1.10.jar, commons-logging-1.2.jar , fluent-hc-4.5.6.jar, httpclient-cache-4.5.6.jar, httpclient-win-4.5.6.jar , httpcore-4.4.10.jar, httpmime-4.5.6.jar, jna-4.4.0.jar, jna-platform-4.4.0.jar
HttpClient-4.5.6
09-27
commons-codec-1.10.jar commons-httpclient-3.1-rc1.jar commons-logging-1.2.jar fluent-hc-4.5.6.jar 等等
httpclient.jar
02-25
jar包 httpclient-4.5.7.jar
Apache HttpClient 客户端使用详解、文件上传、文件下载
热门推荐
蚩尤后裔-汪茂雄
05-30 1万+
目录 环境准备 二进制 Jar 包 Maven 依赖 Http get 请求 环境准备 二进制 Jar 包 1、本文的 HttpClient 是指 Apache 官网 HttpComponents 项目下的子项目HttpClient 。 2、如果项目使用手动导入 Jar 包的方式，则可以从官网下载，地址：http://hc.apache.org/downloads.cgi ...
httpClient4.5使用
woaiqianzhige的博客
08-06 3685
1.基本使用 public class TestHttpClient { public static void main(String[] args) throws IOException { String url = "http://www.youku.com"; CloseableHttpClient client = HttpClients.cu...
HttpClient 4.5使用(一)
太匆匆
07-29 3729
一开始上手就用4.5有的不大习惯，看到的教程和分享都是4.5之前的，这个纪录主要是把掉过的坑都记住。 1.HttpGet返回网页信息 package cn.limbo.grabdata.test; import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; i
HttpClient4.5详解
u011145904的博客
02-11 772
&lt;div id="article_details" class="details"&gt; &lt;div class="article_title"&gt; &lt;span class="ico ico_type_Original"&gt;&lt;/span&gt; &lt;h1&gt;
基于MATLAB Simulink的六轴机器人阻抗力控制算法仿真与应用 · 机器人技术
最新发布
08-14
六轴机器人阻抗力控制算法的实现方法及其在MATLAB Simscape平台上的仿真应用。文章首先解释了六轴机器人和阻抗力控制算法的基本概念，然后展示了如何在Simscape环境中构建虚拟机器人模型，并通过M文件设置Simulink参数，实现对机器人运动轨迹和阻抗参数的精确控制。文中还提供了视频演示，直观展示了期望轨迹与实际轨迹的对比，验证了算法的有效性。最后，强调了一键运行的功能，简化了工程实践的操作流程，提升了效率。 适合人群：对机器人技术和控制算法感兴趣的科研人员、工程师和技术爱好者。 使用场景及目标：适用于需要深入了解六轴机器人阻抗力控制算法的工作原理及其实现方法的人群，旨在提高他们对该领域的理论认知和实际操作能力。 其他说明：通过本项目的实践，读者不仅可以掌握机器人阻抗力控制算法的关键技术点，还能学会利用MATLAB工具进行高效建模和仿真的方法。这对于后续的研究和开发工作具有重要的指导意义。
httpClient组件搭建与使用教程
以下将详细说明标题中所涉及的知识点，包括httpClient组件的使用说明、搭建过程、所需jar包以及如何进行简单应用和例子。 首先，让我们了解什么是HttpClient。HttpClient是Apache Jakarta Common项目的一部分，它为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值