由Netty引出对协议的思考

协议到底是什么？

之前我们接触过很多协议，最熟悉莫过于HTTP、TCP、DUBBO 那么到底是什么是协议，又和Netty、TCP、SOCKET有何关系?

协议：两端约定好的一种字节数组结构，

应用层协议：例如前8个字节表示消息类型 后8个字节代表总数据的长度，由于现在都是使用面向对象语言编程，那么如何将业务对象数据转换成网络传输的字节，已经将字节反序列化成对象。目前用的比较多方式有json序列化，java的对象序列化，protobuf,hessian,xml形式。 发送数据端按照约定俗成方式编码，那么接受端就以同样方式进行解码。 这种协议就是应用层协议。

传输层协议：tcp协议是可靠、面向报文段的传输协议，tcp报文头+应用层的字节数据 保证数据传给某台主机对应的端口号的进程进行处理

网络层协议：ip头+tcp报文数据 保证该数据传给指定ip的主机

数据链路层和物理层

下发消息时每经过一层协议就会加上该层的头部信息，在接受消息时每经过一层协议就会去掉头部信息，最终会在传输层被接受，然后通过socket(获取tcp层数据的工具)拿到数据，然后根据不同的应用层协议(定义的不同字节结构)进行解析到应用层所有使用的数据(字节)，然后解码(json、protobuf)成业务对象

Socket可以看作是获取tcp层数据或向tcp写入数据的工具

Netty可以看作成socket框架，用该框架可以做自定义协议(通过实现ChannelHandler的编码器和解码器)的服务器和客户端，同时可以处理高并发的连接(非阻塞I/O)，面向事件驱动开发(自定义实现ChannelHandler进行监听Channel的某种事件)

编解码器

之所以Netty能实现各种应用层协议 例如HTTP、FTP、WebSocket 或自定义的协议，就是编解码器起到的作用。

编码器：将业务对象转换成某种特定格式的字节数组(例如 头部+消息体(将对象转换成字节称为序列化(JSON、ProtoBuf、java对象序列化)))，进行网络传输

解码器：接收到网络传输的二进制字节数组，通过对应的解码器转化成业务所使用的对象，只不过是上面的逆过程

tcp层只关心传输的二进制数据，所以会将应用层的数据划分成多个报文段，所以通过Netty获取tcp中的数据可能是拆包的或者粘包的。以下Netty定义的几种解决此问题的方法：

1、固定长度数据

也就是网络上传输的数据都是统一长度的数据

2、分隔符

通常采用\r\n方式来区分传输的数据，当然也可以自定义分隔符

3、头部+消息体

头部：一般固定好长度， 存放消息类型，消息体大小
具体消息内容：大小就等于头部定义的大小

HTTP协议采用 分隔符+头部、消息体结合的方式传输的数据

Netty编解码实现

由于应用层数据在传输层会拆成各个小报文段，还有netty又是异步的，所以在解码时候需要对接受的数据进行缓存直到解码成最终需要的结果。

得益于Netty的易扩展性，可以通过增加对应的ChannelHandler实现就能完成某种功能，同样编解码器也实现了ChannelInBound和ChannelOutBound接口

编解码器的基础实现类，其他都是继承该基类

抽象模板设计模式

ByteToMessageDecoder：从字节转化业务对象

实现该抽象方法 decode(ChannelHandlerContext ctx, ByteBuf in, List out)
out存放解码后对象

可能一开始不满足解码条件，可以缓存起来，例如需要头部字节数为10，也就是可读字节数>=10时，才进行解析

MessageToMessageDecoder：从消息对象A解码成另外一种消息对象B

decode(ChannelHandlerContext ctx, I msg, List out) I:表示输入对象A 然后解码成另外一种对象B存放到out中

MessageToByteEncoder：将业务对象转换成字节

encode(ChannelHandlerContext ctx, I msg, ByteBuf out) I：就是输入的业务对象转换成特定格式的字节数组对象传给out

MessageToMessageEncoder：从消息对象B编码另外一种消息对象A

encode(ChannelHandlerContext ctx, I msg, List out) I:表示输出对象B 然后解码成另外一种对象A存放到out中

源码实习借鉴处

1、将CodecOutputList （也是实现了List接口） 放在ThreadLocal中保证线程安全

2、使用对象池将CodecOutputList缓存起来，避免了重复创建对象开销和节省内存资源