httpclient编码问题

最新推荐文章于 2021-11-29 18:10:44 发布

原创最新推荐文章于 2021-11-29 18:10:44 发布 · 210 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#浏览器

搜索引擎--网络爬虫专栏收录该内容

2 篇文章

订阅专栏

本文探讨了HTTP响应出现乱码的原因及解决方法。重点分析了浏览器如何通过response头设置页面编码，并解释了httpClient模拟页面时如何正确处理字符集。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先http响应的编码有两个部分，response头里的参数和页面开头的meta信息。其实浏览器首先是针对response头来设置页面charset的。httpClient模拟页面也是采用相同方式。所以其实乱码跟meta无关。

我们知道String－GBK〉ByteArray－GBK〉String是正确的，但如果我们采用String－GBK〉ByteArray－ISO-8859-1〉String呢？结果就是各种各样的乱码。

所以当httpClient用iso-8859-1读取response的时候已经转换了编码，很可能在这时已经乱码了。此时如果用method.getResponseBodyAsString();获取页面信息的时候再进行转换已经很难还原了。

通常如果要转换编码的时候，我会使用：

String target = new String(orig.getBytes("ISO-8859-1"),"GBK");

解决办法就是使用以下配置。

private static final String CONTENT_CHARSET = "GBK";// httpclient读取内容时使用的字符集 
HttpClient client = new HttpClient();     
client.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, CONTENT_CHARSET);