Service Mesh 在中国工商银行的探索与实践

Service Mesh 流量加密在金融数据跨境传输中的安全保障实践 软件优化方面,采用BFORGE框架的零知识证明技术,在保持同等安全性的前提下减少28%的CPU消耗(MIT, 2022)。例如,中国工商银行的实践表明,采用国密SM4算法与AES-256混合加密,可同时满足《金融数据安全分级指南》和GDPR合规要求(王等, 2023)。例如,通过Kubernetes网络策略与Istio的深度集成,实现了加密策略的自动化同步(CNCF, 2023)。未来可探索基于区块链的智能合约加密、神经加密(Neuro cryptography)等创新技术(Nature, 2023)。 阅读详情

在这里插入图片描述

Service Mesh 是下一代的微服务架构基础。蚂蚁集团从 2018 年初就开始了技术探索并进行了落地试点。目前, Service Mesh 覆盖了蚂蚁数千个应用,实现了核心链路全覆盖。

蚂蚁集团通过 Service Mesh 的大规模落地,向云原生走出了坚实的一步,验证了可行性,真切看到了基础设施下沉后无论是对业务还是对基础设施团队都带来了研发和运维效率的提升,成本的降低。

与此同时,蚂蚁也在积极将成熟的技术开放给社会,目前已将自研数据面 MOSN 开源,欢迎开源爱好者一起共建。

https://github.com/mosn/mosn

|前言|

微服务架构是当今互联网和金融机构渐趋主流的系统架构模式,其核心是集成服务通信、服务治理功能的服务框架,微服务框架在持续演进同时,服务网格(Service Mesh)作为一种新型的微服务架构,因架构灵活、普适性强,被认为具有较好发展前景。

中国工商银行(后简称工行)主动探索服务网格领域,从 2019 年开始服务网格技术预研工作,通过对服务网格技术深入研究和实践后,于 2021 年建设了服务网格平台。服务网格与现有微服务架构融合发展,助力工行应用架构向分布式、服务化转型,承载未来开放平台核心银行系统。

PART. 1 业界服务网格发展现状

自 2016 年服务网格技术诞生以来,业界涌现了诸多的开源产品,如 Istio(Google + IBM + Lyft)、Linkerd(Twitter)、Consul(Hashicorp)等。其中以 Istio 社区活跃度和认可度最高,被作为服务网格的标杆开源产品。

服务网格是一个专门处理服务通讯的基础设施层。它通过在业务 Pod 中注入 Sidecar 容器,接管业务容器的通信流量,同时 Sidecar 容器与网格平台的控制平面对接,基于控制平面下发的策略,对代理流量实施治理和管控,将原有服务框架的治理能力下层到 Sidecar 容器中,从而实现了基础框架能力的下沉,与业务系统解耦。

img

图 1:服务网格示意图

Sidecar 容器接管后端服务通信的进出流量后,通过标准协议进行服务间通信,可实现跨语言、跨协议的服务互访。此外,Sidecar 容器可对代理的流量进行管控,如统一的服务路由、安全加密、监控采集等。

img

图 2:服务网格请求流转过程示意图

PART. 2 服务网格技术在工行的

探索与实践

工行从 2015 年开启了 IT 架构转型工程,截止目前分布式体系已覆盖 240 余个关键应用,生产已有约超 48 万个提供方分布式服务节点,日均服务调用量超 127 亿,逐步实现了超越主机性能容量的集群处理能力。工行分布式服务平台在稳定支撑已有业务系统的平稳运行同时,也存在一些业界共性的挑战,诸如:

(1)跨语言技术栈的互联互通需研发多套基础框架,技术研发和维护成本高。

(2)多产品线下,各应用使用了不同版本的基础框架,推动各应用升级框架周期较长,生产并行运行多版本的基础框架,兼容压力较大。

为解决当前痛点,工行积极引入服务网格技术,探索解耦业务系统与基础设施,完善服务治理能力。

与微服务框架融合发展,构建企业级服务网格平台

服务网格(Service Mesh)平台在建设过程中,集成了原有分布式体系的注册中心、服务监控等基础设施,将原服务框架客户端中最基础的通讯协议编解码能力以轻量级客户端的形式保留在业务系统中,其余服务框架客户端的能力均下沉至 Sidecar 中,可与服务框架兼容发展,平滑过渡。

目前工行已完成服务网格(Service Mesh)平台的建设,在与分布式服务平台融合发展过程中,打通了异构语言系统的服务治理与监控体系,解耦了业务与中间件系统,丰富了流量治理能力,并已在智能投顾、文字识别等应用完成业务试点。

img

图 3:服务网格边车(Sidecar)与微服务 SDK 对比图

服务网格控制平面包含了配置中心、注册中心、安全中心、管控中心、监控中心、日志中心等模块。数据平面 Sidecar 与原服务框架使用相同的通讯协议(Dubbo/Spring Cloud),支持服务网格系统与原服务框架系统互联互通,平滑迁移。

img

图 4:工行服务网格架构图

探索企业级方案,支持规模化部署和平滑迁移

工行服务网格在大数据、高频联机等服务场景下,对流量代理部署模式、平滑迁移、性能优化等方面开展了落地实践。

(1)大数据场景下的无侵入流量代理部署模式

工行应用开发语言主要使用 Java,但在大数据领域 Python 语言也被广泛使用。针对异构语言场景,服务网格平台提供了无侵入透明劫持的流量代理方案,简化了异构语言应用接入难度。无侵入流量代理的核心是通过修改网络 Iptables 规则,强制拦截进出业务容器的流量,并将这部分流量重定向至 Sidecar 容器。

其具体实现为:在启动业务 Pod 时,通过 Init Container(初始化容器)修改业务 Pod 的网络 Iptables 规则,该规则让进出业务容器的流量都强制重定向至 Sidecar 容器,实现 Sidecar 容器对业务容器的流量接管。

img

图 5:透明劫持流量代理示意图

但是 Iptables 对性能和可维护性都存在较大的挑战,故在联机高频服务场景,我们提供了轻量级客户端与 Sidecar 协作的流量代理方案。

(2)高频联机场景下的低侵入流量代理部署模式

在联机高频服务场景,我们通过对业务应用引入轻量级的客户端,该客户端在对业务透明的前提下,改变业务应用的服务注册发现行为,将原往注册中心发起的服务注册与订阅的行为转变为往本地 127.0.0.1 的 Sidecar 地址发起服务注册与订阅,并由 Sidecar 代理向注册中心发起服务注册与订阅。业务容器通过 Sidecar 代理订阅后,本地获取的服务目的地址则为 127.0.0.1 的 Sidecar 地址,后续所有请求将会直接发往 Sidecar,再由 Sidecar 转发至真实的服务目的地址,实现流量代理能力。

img

图 6:端口流量代理示意图

(3)传统部署向网格化部署的平滑迁移

目前工行微服务主要有基于 Dubbo 和 Spring Cloud 两种服务实例组成,且已在生产环境大规模运行,在引入服务网格系统时需具备与原微服务系统的平滑过渡能力。工行通过服务网格系统同时支持 Dubbo 与 Spring cloud 协议,服务网格实例可与原服务框架实例通过相同协议互相访问。使在同一注册中心下,服务网格系统与原分布式服务系统可融合发展,平滑过渡。

img

图 7:平滑迁移示意图

(4)规模化部署后的性能挑战与优化

目前工行最大的注册中心集群上有超 48 万提供者的超大规模业务场景,而在开源 Isito 架构中,服务发现的目的地址、配置信息等会通过 Pilot 的 Xds API 进行全量下发。在大量服务实例的情况下,全量下发会影响 Pilot 和 Sidecar 的性能和稳定性。服务网格平台通过引入第三方注册中心与配置中心。由 Sidecar 直接对接注册中心与配置中心,支持按需订阅,配置精准下发,大幅降低 Pilot 和 Sidecar 压力。通过压测,控制平面具备支持百万级实例的性能容量能力。

img

图 8:工行控制面组件演进图

构建企业级服务治理能力,支持精准流量管控

目前开源 Istio 的流量治理能力极其有限,只有基础的路由与可观察性,无法满足企业级的需求。SOFAMesh 基于 Istio 架构设计,自研数据面,并调优部分控制面组件,可满足企业落地需求,工行与 SOFAMesh 团队合作,建设了金融级的服务网格平台,并对流量管控能力进行了企业级增强。工行服务网格已具备完善的监控运维能力,能监控到各节点运行时状态,支持对各节点进行实时流量调拨,对于故障节点具备实时流量摘除能力,能对各节点进行统一安全管控。

(1)监控运维能力

服务网格平台内置了完善的监控与报警能力,支持向第三方监控系统上报服务监控、链路监控等监控指标;并具备根据单位时间内的业务请求异常率阈值的报警,且能在触发限流、熔断、降级、故障自愈等服务治理功能时,同步触发对应的报警事件。

(2)流量治理能力

服务网格平台已具备细粒度的流量精准匹配能力,从流量身份标识角度识别特定标识的流量合集,并对这部分流量进行精准管控。平台现已支持(标签级/方法级/服务级/应用级)限流、熔断、降级、路由、流量镜像、链路加密、鉴权、故障演练、故障隔离等企业级的流量管控能力。

(3)故障自愈能力

传统故障反馈依赖监控报警后通过应急预案临时处置故障节点,业务和运维定制应急预案的能力,强依赖有经验的运维工程师,新人上手成本高;且预案操作散落在文档中,可维护性差,随着业务迭代可能会逐步退化,增加操作复杂度。服务网格平台提供了一套统一的基础故障自愈系统,以时间窗口内的业务请求失败率为黄金指标,辅助窗口期间最少调用次数、失败率倍数等,实现常见故障自动感知,自动从客户端或服务端侧网络隔离故障节点,并在故障节点恢复后能网络自恢复,达到业务自愈的能力,提升了分布式系的运维高可用能力。

img

图 9:故障隔离工作图

(4)安全管理能力

服务网格平台已支持安全认证能力,支持国密及多种主流算法构建加密通道,实现更加安全的数据传输,以零信任网络的安全态度,实现全链路可信、加密;并能识别调用方身份标识,根据身份标识设置访问控制策略(黑/白名单)。在有多接入方的业务场景中,可预防个别客户系统故障或者恶意攻击,对异常客户实施黑名单管控,拒绝非法访问,保护本系统的可用性。

img

图 10:安全管控工作示意图

PART. 3 未来展望

服务网格作为云原生领域下一代微服务技术,经过 5 年多地演进,仅在个别头部企业大规模生产实践,以银行为代表的金融同业中尚无成功案例。工行服务网格已完成多语言、异构技术、边缘场景的业务试点,基本论证服务网格在流量管控、系统扩展性的优势,具有下沉服务治理能力到基础设施层,高度解耦中间件与业务系统的可行性。

后续,工行将在全面总结前期试点经验的基础上,扩大试点应用范围,充分论证服务网格技术在差异化的技术架构、银行多样化业务场景的适应性,同步打磨完善平台能力,全面提升性能容量和稳定性,为金融同业落地服务网格技术提供最佳实践与示范。

本周推荐阅读

开启云原生 MOSN 新篇章 — 融合 Envoy 和 GoLang 生态

Service Mesh 双十一后的探索和思考(上)

Service Mesh 双十一后的探索和思考(下)

蚂蚁 Service Mesh 大规模落地实践与展望

img

基于服务网格技术的银行分布式服务总线方案探索.pdf #资源达人分享计划# 立即下载

相关推荐

通过PXE的方式实现Ubuntu 24.04 自动安装

之前都是通过PXE来自动化安装Redhat系列的,例如:Rocky9、Rocky10、CentOS7、银河麒麟 Kylin-V10、Kylin-V11、OpenEuler 24.03等。现在安装Ubuntu系列的跟红帽的不太一样,所以在这里介绍下。

邢宇宇的博客 1493

工商银行顾欣:分布式全链路灰度发布的探索与实践

作者|顾欣互联网金融时代下,金融产品和服务模式不断创新,金融系统容量需求急剧增长,为进一步满足运维标准提升工作的需求,提升服务连续性水平。中国工商银行(后简称工行)从 2014 年开始分...

中生代技术 1204

用Multisim和AD2复刻经典:手把手教你搭建μA741三角波-方波发生器(附完整避坑指南)

本文详细介绍了如何使用Multisim和AD2搭建基于μA741运算放大器的三角波-方波发生器,包括电路原理、Multisim仿真流程、AD2硬件搭建及调试技巧。通过对比理论计算、仿真和实测数据,深入分析器件非理想特性的影响,并提供16个典型问题的解决方案,帮助读者掌握波形发生器的设计原理和工程调试经验。

weixin_28744423的博客 284

Service Mesh 流量加密与负载均衡在金融交易系统数据传输安全与性能提升中的应用

本文通过实证分析证明,Service Mesh在金融交易系统中的综合收益显著:安全合规达标率提升至99.8%,系统可用性达99.999%,性能损耗控制在1%以内。建议金融机构采取以下措施:建立Service Mesh专项团队,配置安全与性能双负责人制定分阶段实施路线图,优先保障核心交易系统投资后量子加密研发,预留10%预算用于技术预研1开发适配金融场景的轻量化Service Mesh方案;2构建跨云、跨链的统一加密协议;3建立量化评估模型,量化安全与性能的平衡点。指标传统架构加密配置效率。

2501_92430822的博客 1155

数字IC后端先进工艺设计实现之TSMC 12nm 6Track工艺数字IC后端实现重点难点盘点

如果你仅仅是跑个先进工艺的flow,不懂先进工艺在数字IC后端实现上的不同点,为何有这样的不同点,针对这些不同之处后端实现阶段如何考虑它们,那么你等于0经验!大家可以针对本文所列的要点进行复盘,如果这些都搞透彻了,你就可以大胆把T12 nm的A72和A55项目写到你的简历中。T12这个工艺也是支持Preferred和Non-prefered两个方向来完成routing的,但是它对它们的最小线宽和最小线间距提出了更严格的要求。所有各个子模块的形状,彼此之间的间距都是有严格的要求。为何要有P48这一层?

weixin_37584728的博客 8340

基于MATLAB/Simulink与WSL2的ROS2实时联合仿真实践

本文详细介绍了基于MATLAB/Simulink与WSL2的ROS2实时联合仿真实践。通过环境配置、PX4仿真环境搭建、自定义消息生成、Simulink通信实现及实时优化等步骤,提供了完整的无人机位置控制案例,帮助开发者实现高精度的实时联合仿真。

red88的博客 204

Service Mesh在中国工商银行的探索与实践

▲点击上方“分布式实验室”关注公众号回复“1”抽取技术书微服务架构是当今互联网和金融机构渐趋主流的系统架构模式,其核心是集成服务通信、服务治理功能的服务框架,微服务框架在持续演进同时,服...

Docker的专栏 483

Android 12 系统横屏时,开机动画有两秒显示不全

平板系统默认横屏时,开机会旋转90度,显示的分辨率WxH,会变成HxW.但又会很快被SurfaceFlinger的SurfaceFlinger::processDisplayChanged 娇正。所以为了保险,可以在开机动画没结束之前,禁止旋转事件。在Android 12 产品定制化开发中,由于系统默认方向为竖屏,平板电脑要横屏显示。系统在开机时,有时因为旋转,会出现动画只显示一部分。

448313096@qq.com 1181

中国工商银行的 Service Mesh 探索与实践

作者:顾欣微服务架构是当今互联网和金融机构渐趋主流的系统架构模式,其核心是集成服务通信、服务治理功能的服务框架,微服务框架在持续演进同时,服务网格(Service Mesh)作为一种新型的...

中生代技术 370

某勾网之登录过程逆向

拉勾网的登录过程逆向,包含请求头(X-S-HEADER、X-K-HEADER、X-SS-REQ-HEADER等) 以及 请求参数/返回数据的加解密。

shanf7921的博客 3万+

AutoSAR配置视频讲解:总目录

AutoSAR实验视频讲解:闪烁一颗LED实验【总目录】 欢迎大家来到雪云飞星的《AutoSAR实验视频讲解》,本专栏是一个关于AutoSAR的闪烁LED灯的实验课程,一共8节课,每节课的视频都放在文章最后,传送门如下: 前言 AutoSAR实验视频讲解:简介 EB 的Mcal配置 AutoSAR实验视频讲解:Mcal配置 DaVinci Cfg配置 AutoSAR实验视频讲解:新建DaVinci工程 AutoSAR实验视频讲解:Os配置(预计2021-3-10更新) AutoSAR实验视频讲解:检查校验报

雪云飞星的博客 2万+

云原生主题系统:Service Mesh 在中国工商银行的探索与实践

本文转自:阿里巴巴云原生 目录 前言 业界服务网格发展现状 服务网格技术在工行的探索与实践 1) 与微服务框架融合发展,构建企业级服务网格平台 2) 探索企业级方案,支持规模化部署和平滑迁移 (1)大数据场景下的无侵入流量代理部署模式 (2)高频联机场景下的低侵入流量代理部署模式 (3)传统部署向网格化部署的平滑迁移 (4)规模化部署后的性能挑战与优化 3) 构建企业级服务治理能力,支持精准流量管控 (1)监控运维能力 (2)流量治理能力 (3)故障自愈能力 (4)安全管理能力

Larry的博客 586

030、自动白平衡AWB实战:灰度世界、完美反射与色温估计的工程实现与局限

本文深入探讨了自动白平衡(AWB)算法在工程实践中的实现与局限性。作者结合实际项目经验,分析了灰度世界算法、完美反射算法和色温估计三种主流方法的优缺点和适用场景,并分享了调试过程中的关键技巧和常见陷阱。文章指出,纯色背景、多光源环境等特殊场景容易导致算法失效,需要通过混合策略和场景检测来优化。作者强调AWB调试需要大量实际场景测试,建议保留手动调节功能,并针对不同硬件配置进行参数标定。最后提出,AWB优化是一个持续迭代的过程,需要工程化的测试方法和数据处理能力。

zzfmlxs的博客 283

Service Mesh 流量加密与认证在金融科技数据传输中的全链路安全保障实践

通过Service Mesh实现流量加密与认证的金融全链路保障,可显著提升数据传输安全性(实测安全事件减少92%)、合规达标率(从78%提升至99.5%)和业务连续性(MTTR从2小时缩短至15分钟)(建议金融机构:1)建立分层加密策略,2)部署自动化合规检测工具,3)开展量子安全预研。Service Mesh与云原生安全平台的深度融合是趋势,CNCF 2023调查显示,78%的受访者计划在2024年将Service Mesh与SOAR平台集成,实现安全事件自动处置(Gartner预测报告。

2501_92430785的博客 1850

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

软考高级系统架构师之Service Mesh服务网格篇

Service Mesh 是一种专门用于处理服务间通信的基础设施层,通过轻量级网络代理(Sidecar)与业务服务一同部署,将网络通信的复杂性从应用程序代码中抽象出来。它负责服务发现、负载均衡、安全控制和可观测性等功能,帮助开发者更高效地管理分布式系统。核心架构组件组成职责数据平面Sidecar代理(如Envoy、Linkerd2-proxy)拦截并处理所有进出服务的流量,执行流量转发、负载均衡、加密通信、监控采集控制平面集中管理组件(如Istiod)

panpan1619的博客 658

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

蚂蚁金服 Service Mesh 大规模落地系列 - 质量篇

本文为《蚂蚁金服 Service Mesh 大规模落地系列》最后 一篇 - 质量篇,该系列从核心、RPC、消息、无线网关、控制面、安全、运维、测试等模块对 Service Mesh 双十...

金融级分布式架构 3775

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

基于服务网格的分布式 ESB, 实现应用无关的传统 ESB 转型升级

传统 ESB 弊端的双重解决之道

BoCloud博云 1372

蚂蚁金服缘何自研Service Mesh?

2018年,微服务方兴未艾,Service Mesh(服务网格)又快速崛起。有观点认为,2018年可被称之为“Service Mesh元年”,在未来两年中,Service Mesh将迎来爆发式增长,成为下一代的微服务架构。那么,Service Mesh到底是什么?自2016年被提出,为何不到两年就获得了如此高的人气?Service Mesh又能为企业解决哪些问题?在近日召开的GIAC全球互联网架构...

msup789的博客 1569

Service Mesh 发展趋势:云原生中流砥柱

| 前言本文内容整理自 5月25日 在 Kubernetes & Cloud Native Meetup 上海站发表的主题演讲,主要介绍了 Service Mes...

金融级分布式架构 762

蚂蚁金服 Service Mesh 大规模落地系列 - 核心篇

揭秘 2019Service Mesh 双十一大考蚂蚁金服很早开始关注 Service Mesh,并在 2018 年发起 ServiceMesher 社区,目前已有 4...

金融级分布式架构 955

一个商用级Service Mesh服务的设计之道

作者介绍:田晓亮,8年软件行业经验,曾就职于三星,2012年进入云计算领域,对PaaS,DevOps,APM有深入的研究和实践经验,方案支撑近千台VM中的应用部署监控。 2016年加入华为担任架构师,负责微服务的Go语言开发框架及Service Mesh设计和落地,Go语言微服务框架已被华为5G核心网络采用,Service Mesh服务也已在华为云商用上线。 本文首发自《程序员》,谢绝...

karamos的专栏 1万+

深入操作系统原理:从《操作系统导论》看微服务网关限流熔断机

在现代分布式系统中,微服务架构已经成为了主流,而微服务网关作为整个系统的第一道防线,承担着流量控制、路由转发、鉴权等核心功能。在实际开发中,我们常常会遇到“服务雪崩”“请求超时”“服务器资源耗尽”等异常情况。这些问题的根源往往与操作系统的调度机制、资源管理以及网络通信的底层实现息息相关。本文将结合经典技术书籍《操作系统导论》中的核心理论知识,从底层系统原理出发,深入探讨微服务网关中的限流与熔断机制,帮助读者建立起系统化的知识图谱。

wuchangjian的专栏 239

VortMall微服务商城系统v1.3.26 供应链后台菜单优化与供应商代发流程说明

在 VortMall 微服务商城系统中,供应商提供货源并维护库存,店铺选货铺货并向消费者销售。供应商代发时,供货方处理发货,消费者通过订单查看物流;发生退换货时,店铺、平台和供应商按业务规则协作。v1.3.26 调整了供应链后台“采购管理”“供应商管理”和“设置”三个分组的图标。本文结合这次界面调整,梳理系统已有的供销与履约流程。

VortMall的博客 393
上一篇: Service Mesh 在中国工商银行的探索与实践
下一篇: SOFA Weekly | 开发者的搬砖日常、社区本周 Contributor、QA 整理
SOFAStack
博客等级 码龄7年 747粉丝 389原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值