okhttp3 request payload 方式发送数据,内容类型multipart/form-data,爬虫

本文介绍了一种使用Java进行网页爬取的方法,通过对比httpclient与okhttp3,最终选择okhttp3并给出了具体的实现代码。文章详细展示了如何利用okhttp3进行POST请求,并附带了处理请求头和参数的具体步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

因本人想做爬虫,抓取数据。但Python又不会短时间不想学。而且又是做Java出身。

一开始选apache 开源项目 httpclient请求

网站请求截图:


  1. 前提加入okhttp jar包,我用pom.xml maven方式引入

<dependency>
  <groupId>com.squareup.okhttp3</groupId>
  <artifactId>okhttp</artifactId>
  <version>3.9.1</version>
</dependency>

用httpclient请求,这种写法不行。但json方式是可以的【指的是request payload 里面数据格式是json方式,不是指现在multipart/form-data方式】。


研究了之后果断用okhttp3,实现方式看下面


okhttp3 request payload post 请求方式:

研究了之后果断用okhttp3,实现方式看下面:


public static HttpDO postRequestPayLoad(String url, Map<String, String> param, Map<String, String> headers) {
		HttpDO httpResult = new HttpDO();
		Builder builder = new MultipartBody.Builder().setType(MultipartBody.FORM);
		if (null != param && !param.isEmpty()) {
			for (Entry<String, String> entry : param.entrySet()) {
				builder.addFormDataPart(entry.getKey(), entry.getValue());
			}
		}
		okhttp3.Request.Builder requestBuilder = new Request.Builder();
		if (null != headers && !headers.isEmpty()) {
			for (Entry<String, String> entry : headers.entrySet()) {
				requestBuilder.header(entry.getKey(), entry.getValue());
			}
		}
        RequestBody requestBody = builder.build();
        Request request = requestBuilder.url(url).post(requestBody).build();
        Response response = null;
        try {
        	response = okHttpClient.newCall(request).execute();
            statusCode = response.code();
            if (statusCode == 200 || response.isSuccessful()) {
    			responseResult = response.body().string();
			}            
        } catch (Exception e) {
        	e.printStackTrace();
			statusCode = 500;
			responseResult = "请求错误,错误消息:" + e;
        } finally {
        	httpResult.setStatusCode(statusCode);
        	httpResult.setContent(responseResult);
        	if (response != null) {
				response.close();
			}
		}
		return httpResult;
	}

在使用Okhttp进行文件上传时,需要注意设置请求头的Content-Type为multipart/form-data。这是因为在文件上传时,需要将文件数据以多部分的形式进行传输。\[1\]你可以使用Okhttp3库来实现这个功能。首先,你需要引入Okhttp3的jar包,可以通过在pom.xml文件中添加以下依赖来引入Okhttp3库: ```xml <dependency> <groupId>com.squareup.okhttp3</groupId> <artifactId>okhttp</artifactId> <version>4.0.0</version> </dependency> ``` 接下来,你可以使用Okhttp3RequestBody类来创建一个请求体,然后将文件数据添加到请求体中。在创建RequestBody时,你需要指定Content-Type为multipart/form-data。这样后台才能正确解析请求并接收到数据。\[2\]如果你在设置请求头的Content-Type后仍然无法成功上传文件,可能是因为你没有正确设置RequestBody的Content-Type。你可以尝试在创建RequestBody时设置Content-Type为multipart/form-data,这样可以确保请求体的Content-Type与请求头中的Content-Type一致,从而解决上传文件的问题。\[3\] #### 引用[.reference_title] - *1* *3* [通过Okhttp3 post方式上传文件 Content-Type=multipart/form-data](https://blog.youkuaiyun.com/qq_15327175/article/details/130533804)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [SpringBoot2.1.x,okhttp3网络请求之MultipartFile方式上传文件,multipart/form-data表单多文件+多参数](https://blog.youkuaiyun.com/p812438109/article/details/107943319)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值