HttpURLConnection getHeaderFields().get("Content-Type") 获得网页编码问题

最新推荐文章于 2023-07-07 15:41:47 发布
最新推荐文章于 2023-07-07 15:41:47 发布
阅读量7.5k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lizhihaoweiwei/article/details/21985565
本文探讨了使用HttpURLConnection获取网页编码的有效性和局限性。指出并非所有网站都会通过Content-Type头提供字符编码信息，因此建议采用分析网页内容的方式确保准确获取编码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

对于有些网页，使用HttpURLConnection 的 getHeaderFields().get("Content-Type")  能正确获得网页的编码。但有些网页却不能正确地获得，通过查看服务器返回的头信息，发现了问题所在，

http://it.sohu.com/20090711/n265142337.shtml 响应头
null : [HTTP/1.0 200 OK]
Date : [Sun, 12 Jul 2009 14:42:20 GMT]
Vary : [Accept-Encoding]
Expires : [Sun, 12 Jul 2009 14:44:20 GMT]
Last-Modified : [Sun, 12 Jul 2009 14:40:10 GMT]
Via : [1.0 33107306.44707239.41988739.sohu.com:80 (squid)]
Content-Type : [text/html]
Connection : [close]
Server : [Apache/1.3.39 (Unix) mod_gzip/1.3.26.1a]
X-Cache : [MISS from 33107306.44707239.41988739.sohu.com]
Cache-Control : [max-age=120]

红色的部分是关键，服务器给予的反应并没有把字符编码加进来。所以，使用上面的办法是没有办法获得编码的。

而对于另一个网页，却有字符编辑，见下：

http://news.xinhuanet.com/world/2009-04/27/content_11267743.htm 响应头
null : [HTTP/1.0 200 OK]
ETag : ["47f8ae1-4909-fb3f2080"]
Very : [Accept-Encoding]
Content-Length : [4973]
Last-Modified : [Mon, 27 Apr 2009 09:29:22 GMT]
Connection : [keep-alive]
Powered-By-ChinaCache : [CNC-LY-7-3BB HIT, CNC-QD-K-33U HIT]
X-Cache : [HIT from news48.xinhuanet.com]
Server : [Apache]
Date : [Sat, 27 Jun 2009 07:22:49 GMT]
Content-Encoding : [gzip]
Via : [1.0 news48.xinhuanet.com:80 (squid/2.6.STABLE16)]
Content-Type : [text/html; charset=GB2312]
Accept-Ranges : [bytes]


综上所述，要获得一个网页的编码，上述办法不一定满足条件，最保险的办法是分析网页内容。

Android HTTP协议请求网络(三)之HttpURLConnection方式
csdn_aiyang的博客
05-08 4841
Android HTTP协议请求网络(一)之认识探索Android HTTP协议请求网络(二)之HttpClient方式githup练习demo地址：https://github.com/aiyangtianci/NetworkRequestDemo一、介绍在Android API Level 9（Android 2.2）之前只能使用DefaultHttpClient类发送http请求。Defau...
使用HTTPURLConnection模拟登陆，爬取网页内容
helloworld的专栏
05-21 1万+
如果你需要爬取某些网页的内容，但这些网站需要登录，那就需要一些额外的步骤来由程序来完成这些登录并爬取我们需要的网页内容了，任意登录页面都是向服务器发送请求，如果我们能够模拟向服务器发送请求，那么自然登录也就不在话下，通过Fiddler抓取我们需要的一些信息，很轻松的就能模拟出向服务器发送的请求，下面我们可以使用HTTPURLConnection进行模拟登陆并爬取我们需要的网页内容。 impor
通过HttpURLConnection获取SESSIONID
12-31
package test; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStream; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import java.util.List; import java.util.Map; public class HttpTest { private HttpURLConnection hc = null; private static final String oneUrlString = "http://xxx.jsp"; private static final String twoUrlString = "http://xxx.action"; public String getSessionId() { String sessionId = ""; try { URL url = new URL(oneUrlString); hc = (HttpURLConnection) url.openConnection();//默认的用GET提交 hc.setDoOutput(true); hc.connect(); Map map = hc.getHeaderFields(); //得到Cookie的所有内容，包括SESSIONID，在进行下次提交的时候 直接把这个Cookie的值设到头里头就行了 //淡然只得到SESSIONID也很简单的 ，但是有时候Set-Cookie的值有几个的 List list = (List) map.get("Set-Cookie"); if(list.size() == 0||list == null) { return null; } StringBuilder builder = new StringBuilder(); for(String str : list) { sessionId = builder.append(str).toString(); } hc.disconnect(); } catch (MalformedURLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } return sessionId; } public String getResponseContext(String parameters) { String responseContext = ""; try { URL url = new URL(twoUrlString); hc = (HttpURLConnection) url.openConnection();//使用POST提交 hc.addRequestProperty("Cookie", getSessionId()); hc.setDoOutput(true); hc.connect(); OutputStream out = hc.getOutputStream(); //参数是a=""&b=""这样拼接的一个串 out.flush(); out.close(); out.write(parameters.getBytes(),0,parameters.getBytes().length); InputStream in = hc.getInputStream(); InputStreamReader reader = new InputStreamReader(in,"gb2312"); BufferedReader read = new BufferedReader(reader); StringBuilder builder = new StringBuilder(); String str = ""; while((str = read.readLine()) != null) { builder = builder.append(str); } read.close(); reader.close(); in.close(); hc.disconnect(); responseContext = builder.toString(); } catch (MalformedURLException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } return responseContext; } }
HttpURLConnection.getHeaderField
yhtppp的专栏
10-28 8479
使用HttpURLConnection.getHeaderField，获取Header中某项的值， 有时写成：httpUrlConnection.getHeaderField("Location") 有时写成：httpUrlConnection.getHeaderField("location") 都是可以的，Java自带的HttpURLConnection，httpclient，okh
httpURLConnection.getHeaderField("Set-Cookie")没有/取不到值解决方法
个人笔记
09-11 8135
在获取inputstream前设置如下代码： httpURLConnection.setInstanceFollowRedirects(false);
HttpURLConnection 得到编码格式
weixin_30535167的博客
05-24 775
HttpURLConnection 取百度首页 URLConnection urlc = new URL("http://www.baidu.com/") .openConnection();System.out.println(urlc.getContentType()); InputStream is = urlc.getInputStrea...
java+httpcon_Java HttpURLConnection.getHeaderFieldKey方法代码示例
weixin_42515058的博客
03-05 326
import java.net.HttpURLConnection; //导入方法依赖的package包/类private static InputStream downloadXmlAsStream(Context context, URL url, String userAgent,String cookie, MaprequestHdrs, HttpHeaderInforesponseHdr...
Http学习之使用HttpURLConnection发送post和get请求 android
03-30
4. 处理响应头：`connection.getHeaderFields()`可获取服务器返回的头信息，如Set-Cookie或Content-Type。 虽然`HttpURLConnection`提供基础的HTTP通信功能，但它并不像OkHttp那样具有缓存、重试策略等高级特性。...
Java 实例 - 获取 URL 响应头信息源代码+详细指导教程.zip
08-10
设置请求方法为"GET"后，我们调用`getHeaderFields()`来获取所有响应头。这将返回一个键值对的映射，其中键是头部字段名，值是该字段的值列表（可能有多个值，例如Set-Cookie头）。 除了基本的`getHeaderFields()`...
java实现http的GET/POST请求
stone_bk的博客
06-08 402
http远程调用
getheaderfields java_Java 发起 http 请求
weixin_42484898的博客
02-23 779
一、GET与POSTGET和POST是HTTP的两个常用方法。GET指从指定的服务器中获取数据POST指提交数据给指定的服务器处理1.GET方法使用GET方法，需要传递的参数被附加在URL地址后面一起发送到服务器。例如：http://192.168.0.19/submit?name=zxy&age=21特点：GET请求能够被缓存GET请求会保存在浏览器的浏览记录中以GET请求的URL能够保...
getheaderfields java_java – HttpsURLConnection getHeaderFields没有返回set-cookie
weixin_39800971的博客
02-13 569
我正在向一个HTTPS URL发送一个get请求,不知怎的,我正在为“Set-Cookie”获取空值.迭代时我可以看到header-key有“set-cookie”但header-value为null.这是我的代码：URL obj = new URL(url);HttpsURLConnection conn = (HttpsURLConnection) obj.openConnection();H...
HttpURLConnection getContentType源码解读
剑若成风的成长日志
09-30 475
getheaderfields java_Java常见网络操作（URL类，InetAddress类，URLConnection类）
weixin_35208812的博客
02-15 480
*****************InetAddress**********************InetAddress:用于标识网络上的硬件资源(如，IP，主机名，域名等)。对于InetAddress，三个方法:getLocalHost()、getByName()以及getAllByName()可以用来创建InetAddress的实例。InetAddress类没有提供返回构造函数，所以不能用n...
getheaderfields java_java 中的“<>”和“:”是什么意思?
weixin_31444171的博客
02-15 1140
try{URLurl=newURL(urlStr);HttpURLConnectioncon=(HttpURLConnection)url.openConnection();con.setRequestMethod("POST");//打印请求头信息Maphfs=con.getHeaderFields();Settry {URL url=new URL(urlStr);HttpURLConnect...
HttpURLConnection 用法
geyingqiの博客
12-18 2424
HttpURLConnection最近在写android blog的客户端,由于需要与网页交互,所以用到了这个类,整理一下。创建方式：据我所知有两种 1.HttpURLConnection conn = new HttpURLConnection(URL url); 2.HttpURLConnection conn = (HttpURLConnection) myurl.openConnecti
使用URLConnection处理http请求
tanguang_honesty的专栏
12-18 1033
一、准备 使用URLConnection操作http request时，我们至少得知道URL地址和字符集，参数是可选的，它基于具体的需求。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 String url = "http://example.com";
HttpURLConnection获取重定向目标的URL
D_MM_的博客
07-07 1386
处理方法：当 HTTP 响应返回状态码为 3xx 重定向时，服务器通常会在响应头中包含 "Location" 字段，指示客户端应该重定向到的新的URL地址。这只是一些常见的状态码示例，HTTP 协议还定义了其他状态码用于特定的情况。起因：客户给了一个外网图片路径，需要将外网图片上传到对象存储中，但是发现上传到对象存储中了，但是下载下来的图片是破损的。或其他相关库进行 HTTP 请求时，可以根据返回的状态码来判断请求的结果，并根据需要采取相应的处理措施。3xx：重定向状态码，表示需要进一步操作才能完成请求。
URLConnection
热门推荐
逝去的往事的博客
10-05 3万+
简介 URLConnection是一个抽象类，表示指向URL指定资源的活动连接。URLConnection有两个不同但相关的用途： URLConnection可以检查服务器发送的首部，并相应地做出响应。它可以设置客户端请求中使用的首部字段。最后URLConnection可以用POST、PUT和其他HTTP请求方法向服务器发回数据； URLConnection类是Java的协议处理器机制的一部分；...
java.net.URLConnection中Content-Type：form-data怎么写
最新发布
01-22
### 使用 `java.net.URLConnection` 设置 Content-Type 为 multipart/form-data 为了通过 `java.net.URLConnection` 发送 `multipart/form-data` 类型的数据，需要手动构建请求体并设置合适的头部信息。下面是一个完整的示例来展示这一过程： ```java import java.io.*; import java.net.*; public class MultipartFormDataExample { private static final String CRLF = "\r\n"; private static final String BOUNDARY_PREFIX = "--"; public void sendMultipartForm(String urlString, File file) throws IOException { URL url = new URL(urlString); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); // 设置连接属性 connection.setDoOutput(true); // 表明此URL连接打算写入数据 connection.setRequestMethod("POST"); String boundary = "----WebKitFormBoundary7MA4YWxkTrZu0gW"; // 自定义边界字符串 // 添加Content-Type头，并指定boundary connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary); try (OutputStream outputStream = connection.getOutputStream()) { PrintWriter writer = new PrintWriter(new OutputStreamWriter(outputStream, "UTF-8"), true); // 构建文件部分的内容 StringBuilder sb = new StringBuilder(); sb.append(BOUNDARY_PREFIX).append(boundary).append(CRLF); sb.append("Content-Disposition: form-data; name=\"file\"; filename=\"" + file.getName() + "\"").append(CRLF); sb.append("Content-Type: application/octet-stream").append(CRLF); sb.append(CRLF); writer.println(sb.toString()); FileInputStream inputStream = null; byte[] buffer = new byte[4096]; int bytesRead; try { inputStream = new FileInputStream(file); while ((bytesRead = inputStream.read(buffer)) != -1) { outputStream.write(buffer, 0, bytesRead); } outputStream.flush(); writer.append(CRLF).flush(); // 文件结束后的CRLF // 结束标志 writer.append(BOUNDARY_PREFIX).append(boundary).append(BOUNDARY_PREFIX).append(CRLF).flush(); InputStream responseStream = new BufferedInputStream(connection.getInputStream()); BufferedReader reader = new BufferedReader(new InputStreamReader(responseStream)); String line; while((line = reader.readLine()) != null){ System.out.println(line); } reader.close(); } finally { if(inputStream!=null){ inputStream.close(); } } } } } ``` 上述代码展示了如何创建一个多部件表单上传请求[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值