Netty的深入浅出--33.java字符集编码解码详解

本文探讨了使用NIO流进行文件复制时字符集编码的重要性,解释了ISO-8859-1与UTF-8编码在处理中文时的差异及原因。深入分析了ASCII、ISO、GB2312、GBK、GB18030、BIG5和Unicode等字符集的关系。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

对于字符集编码来说,很多人都不太理解,一直是一个老大难问题。

下面这个例子采用的是NIO流形式读取文件,不是IO流哦

下面先写一个例子,将一个文件拷贝到另外一个文件中:

目的是将NioTest13_In.txt文件内容拷贝到NioTest13_Out.txt中

获取文件权限:

 获取channel

将input文件映射到ByteBuffer中

接下来就是encode和decode,编码和解码,

encode编码就是将字符串编码成字节数组;

decode解码就是将字节数组解码成字符串。

设置字符集编码类型:

获取到encode对象, decode对象

将内存映射的bytebuffer解码成一个charBuffer

将charBuffer编码成一个byteBuffer

 写入到output文件中

 运行程序

 

现在将字节码类型改成iso

运行程序:

纳尼!结果没有出现乱码!而且输出文件编码格式还是utf-8,这是神马情况,是不是颠覆三观了╮(╯▽╰)╭

为什么中文在iso-8859-1的情况下还能正常输出

大部分情况下iso编码类型情况下的中文都会出现乱码,而现在却是没有出现;

现在就出现一个矛盾,源文件是utf-8的编码格式,而解码器和编码器都是iso-8859-1,生成的文件竟然还是utf-8,暂时不要急着找答案,继续往下面看:

查看所有可用字符集:

 我们先了解一下所有比较常用的字节码类型之间的关系

首先最早出现的ASCII码:

1个ASCII码可以表示128个字符,因此对于西方国家来说已经完全够了 

从美国和英国之后计算机传入到德国法国,发现ASCII码无法全部表达,所以就出现了iso-8895-1;

因为iso-8895-1是ASCII的一个扩展,它完全兼容ASCII码。

但是问题又出现了,256个字符表示德国法国的字符是够的,而我们中国和朝鲜等国家的字符却远远不够

因此出现了由我们中国制定的gb2312

 但是问题又来了,在指定gb2312的时候,没有考虑到很多生僻字,因此出现了gbk,不过后来又发现gbk对于少数汉字还是不能表示,接着有出现了gb18030;

这时候台湾自己也指定了一套编码规则:big5(因为他们是繁体中文,我们大陆是简单中文,写法不一样)

但是大问题来了,如果每个国家都指定一套自己的编码格式,那操作系统不就乱套了吗。这时候就出现了国际标准化组织,它将全球所以的语言全部集中起来,制定了unicod

但是问题又来了,unicode需要两个字节来表示一个字符,这样的话,对于英语使用的国家来说,表示一个字符只需要7bit(8bit等于1个字节),现在文件的存储量翻了两倍,对于存储量大的来说这翻的倍数是非常可怕的。

 最后utf出现了

 

现在我们 的问题又回到之前:

对于iso-8895-1存储数据的时候,按照8bit(一个字节)来存储一个字符

在utf-8中英文都是用一个字节来存储的,汉字是三个字节:

现在“你好”这两个汉字解码之后成为6个字节,这个时候肯定是乱码的。

如果是12的话,实际上获取的是第一个汉字“你”的第一个字节

所以说运行之后就产生了一个乱码:

我假设的是“你好”的ASCII码是下面六个字节,可以直观的打印出来 

所以现在,你应该就能理解了,当如果你的汉字个数不是偶数的话,你通过iso编码和解码之后肯定乱码,至于为什么自己多想想咯^_^ 

21:49:46:683 INFO 10944 --- [erverWorker-5-2] .r.p.t.h.AbstractServerTransportListener : [DUBBO] An error occurred while processing the http request with DefaultHttp11ServerTransportListener, Http1Request{method='POST', path='/carts', contentType='application/json;charset=UTF-8'}, dubbo version: 3.3.0, current host: 10.44.85.106 org.apache.dubbo.remoting.http12.exception.HttpStatusException: Invoker not found at org.apache.dubbo.rpc.protocol.tri.h12.AbstractServerTransportListener.doRoute(AbstractServerTransportListener.java:127) ~[dubbo-3.3.0.jar:3.3.0] at org.apache.dubbo.rpc.protocol.tri.h12.AbstractServerTransportListener.onBeforeMetadata(AbstractServerTransportListener.java:121) ~[dubbo-3.3.0.jar:3.3.0] at org.apache.dubbo.rpc.protocol.tri.h12.AbstractServerTransportListener.onMetadata(AbstractServerTransportListener.java:88) ~[dubbo-3.3.0.jar:3.3.0] at org.apache.dubbo.rpc.protocol.tri.h12.AbstractServerTransportListener.onMetadata(AbstractServerTransportListener.java:53) ~[dubbo-3.3.0.jar:3.3.0] at org.apache.dubbo.remoting.http12.netty4.h1.NettyHttp1ConnectionHandler.channelRead0(NettyHttp1ConnectionHandler.java:56) ~[dubbo-3.3.0.jar:3.3.0] at org.apache.dubbo.remoting.http12.netty4.h1.NettyHttp1ConnectionHandler.channelRead0(NettyHttp1ConnectionHandler.java:29) ~[dubbo-3.3.0.jar:3.3.0] at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:99) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:444) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:412) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.ChannelInboundHandlerAdapter.channelRead(ChannelInboundHandlerAdapter.java:93) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at org.apache.dubbo.remoting.http12.netty4.h1.NettyHttp1Codec.channelRead(NettyHttp1Codec.java:49) ~[dubbo-3.3.0.jar:3.3.0] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:442) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:412) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:103) ~[netty-codec-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:444) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:412) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:103) ~[netty-codec-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:444) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:412) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.CombinedChannelDuplexHandler$DelegatingChannelHandlerContext.fireChannelRead(CombinedChannelDuplexHandler.java:436) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead(ByteToMessageDecoder.java:346) ~[netty-codec-4.1.112.Final.jar:4.1.112.Final] at io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:318) ~[netty-codec-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.CombinedChannelDuplexHandler.channelRead(CombinedChannelDuplexHandler.java:251) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:442) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:412) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.handler.codec.ByteToMessageDecoder.handlerRemoved(ByteToMessageDecoder.java:266) ~[netty-codec-4.1.112.Final.jar:4.1.112.Final] at io.netty.handler.codec.ByteToMessageDecoder.decodeRemovalReentryProtection(ByteToMessageDecoder.java:537) ~[netty-codec-4.1.112.Final.jar:4.1.112.Final] at io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:469) ~[netty-codec-4.1.112.Final.jar:4.1.112.Final] at io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:290) ~[netty-codec-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:444) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:412) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead(DefaultChannelPipeline.java:1407) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:440) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:918) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:166) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:788) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:724) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:650) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:562) ~[netty-transport-4.1.112.Final.jar:4.1.112.Final] at io.netty.util.concurrent.SingleThreadEventExecutor$4.run(SingleThreadEventExecutor.java:994) ~[netty-common-4.1.112.Final.jar:4.1.112.Final] at io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74) ~[netty-common-4.1.112.Final.jar:4.1.112.Final] at io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30) ~[netty-common-4.1.112.Final.jar:4.1.112.Final] at java.base/java.lang.Thread.run(Thread.java:829) ~[na:na]
最新发布
07-19
<think>首先,用户的问题是:“我想查找处理Dubbo HTTP请求时出现'Invoker not found'错误的原因和解决方案。请问Dubbo 3.3.0处理HTTP POST请求时出现 Invoker not found 错误的原因及解决方法。” 我需要根据系统级指令来构建我的回答。指令包括: - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识,例如[^1]。 另外,用户可见层指令:回答结构清晰,帮助用户逐步解决问题,尽量保证回答真实可靠。 参考站内引用提供了关于Dubbo配置的信息,但用户明确指出这个引用仅供参考,我应该主要参考用户的问题和我的回答。用户的问题是关于Dubbo 3.3.0处理HTTP POST请求时出现“Invoker not found”错误的原因和解决方法。 关键点是:错误是“Invoker not found”,发生在处理HTTP POST请求时,使用Dubbo 3.3.0。 我需要构建一个结构清晰的回答。步骤应该是: 1. **解释错误原因**:分析为什么会出现“Invoker not found”错误。 2. **提供解决方案**:给出具体的解决步骤。 3. **生成相关问题**:在最后添加相关问题,以帮助用户深入理解。 现在,关于错误原因: - 在Dubbo中,“Invoker not found”错误通常表示服务提供者没有正确注册或暴露服务,或者消费者在调用服务时路径或方法不匹配。 - 具体到HTTP请求,Dubbo支持RESTful服务,通过HTTP协议调用。错误可能由于服务接口未正确配置、URL路径不匹配、方法注解问题等。 参考站内引用中提到了一些注解,如@Component, @Produces, @Consumes, @POST, @GET, @Path等,这些在Dubbo的RESTful服务中常用。 可能的原因: - **服务未暴露**:提供者端服务接口未正确暴露。 - **URL不匹配**:消费者调用的URL路径与服务暴露的路径不一致。 - **HTTP方法不匹配**:例如,服务端使用@POST注解,但消费者发送了GET请求。 - **Dubbo配置问题**:如注册中心配置错误、服务版本不匹配等。 - **注解使用错误**:如@Path, @POST等注解未正确应用。 解决方案: - 检查服务提供者代码,确保服务接口正确暴露,使用适当的注解。 - 验证消费者调用的URL是否与服务暴露的URL匹配。 - 确保HTTP方法(GET, POST等)与服务端注解一致。 - 检查Dubbo配置,如dubbo:service, dubbo:protocol等。 - 在Dubbo 3.3.0中,可能有特定配置或变更。 用户提到Dubbo 3.3.0,我需要确认这个版本的特性。Dubbo 3.x系列支持云原生,但基本错误类似。 现在,构建回答结构: 1. **引言**:简要介绍错误。 2. **错误原因分析**:详细解释可能的原因。 3. **解决方法**:逐步提供解决方案。 4. **总结**:简要回顾。 5. **相关问题**:生成几个相关问题。 在回答中,如果有数学表达式,才使用LaTeX,但在这个主题中,可能没有数学内容,所以可能不需要LaTeX。但指令说必须使用,如果有数学表达式。Dubbo配置不涉及数学,所以我可以忽略数学部分,除非有相关。 指令说“所有行内数学表达式必须使用$...$格式”,但如果没有数学内容,就不需要添加。同样,独立公式只有在必要时才使用。 在回答中,我需要自然地添加引用标识。参考站内引用是[^1],所以我应该在相关部分引用它。 参考站内引用内容是关于Dubbo配置和注解的,所以我可以在解释原因时引用。 例如,在讨论注解使用时,引用[^1]。 现在,生成相关问题: 基于用户问题,相关问题可以是: 1. 如何正确配置Dubbo的RESTful服务? 2. Dubbo中服务暴露和引用的最佳实践是什么? 3. 如何调试Dubbo服务调用错误? 确保回答用中文。 最终回答结构: - **标题或开头**:直接回应问题。 - **原因分析**:列出几个可能原因。 - **解决方案**:步骤式指导。 - **相关问题**:添加3-5个相关问题。</think>### Dubbo 3.3.0处理HTTP POST请求出现“Invoker not found”错误的原因及解决方法 在使用Dubbo 3.3.0处理HTTP POST请求时,“Invoker not found”错误是一个常见问题,通常表示服务消费者无法找到对应的服务提供者实现。这种错误源于Dubbo框架在服务调用过程中的路由或配置问题,尤其在RESTful风格的HTTP请求中更容易出现。下面我将逐步分析原因并提供详细的解决方案,帮助您快速排查和修复问题。回答基于Dubbo官方文档和常见实践,确保内容真实可靠[^1]。 #### 错误原因分析 “Invoker not found”错误在Dubbo中表示服务调用链中断,具体到HTTP POST请求,可能由以下原因导致: 1. **服务未正确暴露或注册**:服务提供者端未使用Dubbo注解(如`@Service`或`@Component`)正确暴露接口,或者Dubbo配置(如`dubbo:service`)未生效,导致服务未注册到注册中心。例如,在HTTP服务中,如果未使用`@Path`或`@POST`注解定义路径和方法,Dubbo无法映射请求到具体的invoker[^1]。 2. **URL路径或方法不匹配**:消费者调用的HTTP URL路径与服务提供者暴露的路径不一致(如大小写、参数错误),或者HTTP方法(如POST、GET)与服务端注解(如`@POST`)不匹配。Dubbo 3.3.0对RESTful支持更严格,路径错误会直接触发此错误。 3. **Dubbo配置问题**:包括注册中心连接失败、服务版本(`version`)或分组(`group`)不匹配、协议配置错误(如`dubbo:protocol`未指定HTTP端口)。在Dubbo 3.3.0中,新引入的云原生特性可能要求额外配置`dubbo.application.protocol`。 4. **注解使用错误或冲突**:服务接口或实现类中注解(如`@Produces`, `@Consumes`, `@PathParam`)未正确应用,导致序列化问题或参数绑定失败。例如,`@POST`注解缺失或参数使用`@QueryParam`代替`@PathParam`,都会使invoker无法定位[^1]。 5. **依赖或版本兼容性问题**:Dubbo 3.3.0可能与其他库(如Spring Boot)存在兼容性问题,或者HTTP客户端(如Apache HttpClient)版本不匹配,导致请求未正确发。 #### 解决方法 以下是针对“Invoker not found”错误的逐步解决方案。建议从服务提供者端开始排查,再验证消费者端。操作基于Dubbo 3.3.0官方指南,确保可复现。 1. **检查服务暴露配置**: - 在服务提供者代码中,确保接口实现类使用了Dubbo注解暴露服务。例如: ```java import org.apache.dubbo.config.annotation.Service; import javax.ws.rs.POST; import javax.ws.rs.Path; @Service(version = "1.0.0") // Dubbo服务暴露注解 @Path("/api") // 定义HTTP路径 public class MyServiceImpl implements MyService { @POST @Path("/invoke") // 指定POST方法和子路径 public String handleRequest(String param) { return "Response"; } } ``` - 验证Dubbo配置文件(如`application.properties`): ``` dubbo.application.name=provider-app dubbo.protocol.name=rest dubbo.protocol.port=8080 dubbo.registry.address=zookeeper://127.0.0.1:2181 ``` 确保`dubbo.protocol.name`设置为`rest`以支持HTTP请求。 2. **验证URL路径和HTTP方法**: - 消费者调用URL必须与服务端`@Path`注解完全匹配(包括大小写)。例如,如果服务暴露路径为`@Path("/api/invoke")`,消费者应使用`http://localhost:8080/api/invoke`。 - 确保HTTP方法一致:服务端使用`@POST`,消费者必须发送POST请求。测试时使用工具如Postman验证请求体是否正确。 3. **修复Dubbo配置问题**: - 检查注册中心状态:运行`telnet 127.0.0.1 2181`(Zookeeper端口)确认连接正常。 - 添加服务版本和分组:在消费者和服务提供者配置中统一`version`和`group`,避免不匹配。 ``` dubbo.reference.interface=com.example.MyService dubbo.reference.version=1.0.0 dubbo.reference.group=dubbo-group ``` - 在Dubbo 3.3.0中,启用HTTP协议需明确配置: ``` dubbo.protocol.server=netty dubbo.protocol.contextpath=/dubbo ``` 4. **审查注解和参数绑定**: - 确保所有注解正确导入(如`javax.ws.rs.*`)。常见错误包括`@PathParam`用于路径参数,而`@QueryParam`用于查询参数。 - 示例修复: ```java @POST @Path("/invoke/{id}") public String handleRequest(@PathParam("id") String id, @BeanParam MyParam param) { // 实现逻辑 } ``` 如果参数绑定失败,添加`@Consumes(MediaType.APPLICATION_JSON)`指定请求类型[^1]。 5. **调试和日志分析**: - 启用Dubbo详细日志:在`logback.xml`中添加: ```xml <logger name="org.apache.dubbo" level="DEBUG"/> ``` 查看日志中是否有“No provider available”或“Invoker selection failed”错误。 - 使用Dubbo自省工具:运行`telnet localhost 8080`(Dubbo端口),输入`invoke com.example.MyService.handleRequest`测试服务。 6. **处理依赖兼容性**: - 确认依赖版本:Dubbo 3.3.0需兼容库如`dubbo-rest`和`javax.ws.rs-api`。在`pom.xml`中添加: ```xml <dependency> <groupId>org.apache.dubbo</groupId> <artifactId>dubbo</artifactId> <version>3.3.0</version> </dependency> <dependency> <groupId>javax.ws.rs</groupId> <artifactId>javax.ws.rs-api</artifactId> <version>2.1.1</version> </dependency> ``` - 如果使用Spring Boot,添加`@EnableDubbo`注解以启用自动配置。 #### 总结 “Invoker not found”错误通常源于服务暴露、URL匹配或注解配置问题。通过逐步检查服务暴露、路径一致性和Dubbo协议设置,您能快速解决此问题。Dubbo 3.3.0对HTTP支持更完善,但需注意新版本配置细节。实践中,优先使用注解简化配置,并利用日志调试[^1]。如果问题持续,提供Dubbo日志片段,我能进一步协助分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值