2020-09-16Netty干货分享：京东京麦的生产级TCP网关技术实践总结

1、引言

京东的京麦商家后台2014年构建网关，从HTTP网关发展到TCP网关。在2016年重构完成基于Netty4.x+Protobuf3.x实现对接PC和App上下行通信的高可用、高性能、高稳定的TCP长连接网关。

早期京麦搭建HTTP和TCP长连接功能主要用于消息通知的推送，并未应用于API网关。随着逐步对NIO的深入学习和对Netty框架的了解，以及对系统通信稳定能力的愈加高要求，采用NIO技术应用网关实现API请求调用的想法，最终在2016年实现，并完全支撑业务化运行。由于诸多的改进，包括TCP长连接容器、Protobuf的序列化、服务泛化调用框架等等，性能比HTTP网关提升10倍以上，稳定性也远远高于HTTP网关。

本文重点介绍京麦TCP网关的技术架构及Netty的应用实践。

简单介绍一下京麦是什么：

京麦工作台是京东商城为京东的商家准备的一款后台管理工具，它可以使您不登陆商家后台就能进行订单生产，快速实现订单下载发货流程。类似于淘宝的旺旺商家版（现在叫淘宝千牛）这样的东西。

2、本文作者

张松然：

- 京东商家研发部架构师；
- 丰富的构建高性能高可用大规模分布式系统的研发、架构经验；
- 2013年加入京东，目前负责京麦服务网关和京麦服务市场的系统研发工作。

3、TCP网关的网络结构

基于Netty构建京麦TCP网关的长连接容器，作为网关接入层提供服务API请求调用。

客户端通过域名+端口访问TCP网关，域名不同的运营商对应不同的VIP，VIP发布在LVS上，LVS将请求转发给后端的HAProxy，再由HAProxy把请求转发给后端的Netty的IP+Port。

LVS转发给后端的HAProxy，请求经过LVS，但是响应是HAProxy直接反馈给客户端的，这也就是LVS的DR模式。

4、TCP网关长连接容器架构

TCP网关的核心组件是Netty，而Netty的NIO模型是Reactor反应堆模型（Reactor相当于有分发功能的多路复用器Selector）。每一个连接对应一个Channel（多路指多个Channel，复用指多个连接复用了一个线程或少量线程，在Netty指EventLoop），一个Channel对应唯一的ChannelPipeline，多个Handler串行的加入到Pipeline中，每个Handler关联唯一的ChannelHandlerContext。

TCP网关长连接容器的Handler就是放在Pipeline的中。我们知道TCP属于OSI的传输层，所以建立Session管理机制构建会话层来提供应用层服务，可以极大的降低系统复杂度。所以，每一个Channel对应一个Connection，一个Connection又对应一个Session，Session由Session Manager