打造一个企业级应用的微服务开发框架(下)---ServiceComb通信处理详解

【教程】ServiceComb安装和配置 Apache ServiceComb 提供了融合开源生态的一站式微服务开源解决方案,致力于帮助企业、用户和开发者将应用轻松微服务化上云,实现对微服务应用的高效运维管理。 阅读详情
【摘要】近年来越来越多的企业开始实践微服务,本文分为上下两篇介绍微服务框架ServiceComb 如何帮助企业应用进行微服务化,实现快速交付,并可靠地运行在云端。下篇介绍ServiceComb 的通信处理设计。

近年来越来越多的企业开始实践微服务,而微服务在企业应用落地的过程,面临着微服务开发框架的选型,无论是自研还是选择第三方框架都不得不考虑的问题包括:微服务框架是否具备高可靠性,任何时间不能中断业务;微服务框架是否能够实现高速通信性能,保证业务从单体架构向微服务架构切换时,性能下降不会太多。本文从服务管理中心、通信处理两个模块来介绍华为开源微服务框架SeviceComb如何帮助企业应用快速具备高性能的通信能力以及高可靠的服务管理能力。下篇将详细介绍ServiceComb的通信处理。

ServiceComb通信处理详解 1     整体介绍
ServiceComb的底层通信框架依赖Vert.x.vertx标准工作模式为高性能的reactive模式,其工作方式如下图所示:
图9 reactive模式工作方式
业务逻辑直接在eventloop中执行,整个业务流程中没有线程切换,所有的等待逻辑都是异步的,只要有任务,则不会让线程停下来,充分、有效地利用系统资源。
vertx生态中包含了业界常用各种组件的reactive封装,包括jdbc、zookeeper、各种mq等等。但是reactive模式对业务的要求相当高,业务主流程中不允许有任何的阻塞行为。因此,为了简化上层业务逻辑,方便开发人员的使用,在Vertx之上提供同步模式的开发接口还是必不可少的,例如:
  • 各种安全加固的组件,只提供了同步工作模式,比如redis、zookeeper等等
  • 一些存量代码工作于同步模式,需要低成本迁移
  • 开发人员技能不足以控制reactive逻辑
所以ServiceComb底层基于vertx,但在vertx之上进行了进一步封装,同时支持reactive及同步模式。
工作于Reactive模式时,利用Vertx原生的能力,不必做什么额外的优化,仅需要注意不要在业务代码中阻塞整个进程。
而同步模式则会遭遇各种并发性能问题。,本文描述同步模式下的各种问题以及解决方案。
RESTful流程中,连接由vertx管理,当前没有特别的优化,所以本文中,连接都是指highway流程中的tcp连接。

2     同步模式下的整体线程模型
图10  同步模式下的整体线程模型
  • 一个微服务进程中,为transport创建了一个独立的vertx实例
  • Eventloop是vertx中的网络、任务线程
  • 一个vertx实例默认的Eventloop数为:2 * Runtime.getRuntime().availableProcessors()
3     服务消费者端
在服务消费者端,主要需要处理的问题是如何更加高效地把请求推送到服务提供者上去,然后拿到服务提供者的返回信息。所以在这一端我们主要关注“如何更高效的发送数据”这个话题。

3.1    单连接模型 最简单的单连接模型
图11  最简单的单连接模型
          从模型图中,我们可以看到,所有的consumer 线程,如果向同一个目标发送数据,必然产生资源竞争,此时实际的处理如下:
  • Connection.send内部直接调用Vertx的socket.write(buf),是必然加锁互斥的。
       这必然导致大量并发时,大多数consumer线程都无法及时地发送自己的数据。
  • Socket.write内部会调用netty的channel.write,此时会判断出执行线程不是eventloop线程,所以会创建出一个任务并加入到eventloop任务队列中,如果eventloop线程当前在睡眠态,则立即唤醒eventloop线程,异步执行任务。
这导致频繁的任务下发及线程唤醒,无谓地增加cpu占用,降低性能。
优化的单连接模型
图12  优化的单连接模型
          在优化模型中:
  • 每个TcpClientConnection额外配备一个CAS消息队列
  • Connection.send不再直接调用vertx的write方法,而是:
        所有消息保存到CAS队列中,减少入队竞争
        通过原子变量判定,只有入队前CAS队列为空,才向eventloop下发write任务,唤醒eventloop线程
        在eventloop中处理write任务时,将多个请求数据包装为composite buffer,批量发送,减少进入os内核的次数,提高tcp发送效率。
代码参见:
  1. io.servicecomb.foundation.vertx.client.tcp.TcpClientConnection.packageQueue
  2. io.servicecomb.foundation.vertx.client.tcp.TcpClientConnection.send(AbstractTcpClientPackage,long, TcpResponseCallback)
复制代码
  1. io.servicecomb.foundation.vertx.tcp.TcpConnection.write(ByteBuf)
  2. io.servicecomb.foundation.vertx.tcp.TcpConnection.writeInContext()
复制代码
进行此项优化后,在同一环境下测试2组数据,可以看到性能有明显提升(不同硬件的测试环境,数据可能差异巨大,不具备比较意义):
  
  
TPS
Latency(ms)
CPU
TPS 提升比例
时延提升比例
Consumer
Producer
( 新- 旧)/ 旧
( 旧- 新)/ 新
优化前
81986
1.22
290%
290%
77.31%
43.61%
优化后
145369
0.688
270%
270%
                            表6  单连接模型优化前后性能对比
3.2    多连接模型
在单连接场景下进行相应的优化后,我们发现其实还有更多的优化空间。因为在大多数场景中,实际机器配置足够高,比如多核、万兆网络连接、网卡支持RSS特性等。此时,需要允许一对consumer与producer之间建立多条连接来充分发挥硬件的性能。
  • 允许配置多个eventloop线程
      在microservice.yaml中进行以下配置:
  1. cse:
  2.   highway:
  3.     client:
  4.       thread-count: 线程数
  5.     server:
  6.       thread-count: 线程数
复制代码
  • Consumer线程与eventloop线程建立均衡的绑定关系,进一步降低consumer线程的竞争概率。
代码参见:
  1. io.servicecomb.foundation.vertx.client.ClientPoolManager.findThreadBindClientPool()
复制代码
4     服务提供者端
不同于服务消费者,服务提供者主要的工作模式就是等待消费者的请求,然后处理后返回应答的信息。所以在这一端,我们更加关注“如何高效的接收和处理数据”这件事情。
同步模式下,业务逻辑和IO逻辑分开,且根据“隔离仓”原则,为了保证整个系统更加稳定和高效地运行,业务逻辑本身也需要在不同隔离的区域内运行。而这些区域,就是线程池。所以构建服务提供者,就需要对线程池进行精细的管理。
下面是针对线程池的各种管理方式。
4.1    单线程池(ThreadPoolExecutor)
下图表示的是将业务逻辑用单独的线程池实现的方式。在这种方式下,IO仍然采用异步模式,所有接到的请求放入队列中等待处理。在同一个线程池内的线程消费这个队列并进行业务处理。
图14 单线程池实现方式
在这种方式下,有以下瓶颈点:
  • 所有的eventloop向同一个BlockingQueue中提交任务
  • 线程池中所有线程从同一个BlockingQueue中抢任务执行
ServiceComb默认不使用这种线程池。
4.2    多线程池(ThreadPoolExecutor)
为规避线程池中Queue带来的瓶颈点,我们可以使用一个Executor将多个真正的Executor包起来。
图15  多线程池实现方式
  • Eventloop线程与线程池建立均衡的绑定关系,降低锁冲突概率
  • 相当于将线程分组,不同线程从不同Queue中抢任务,降低冲突概率
ServiceComb默认所有请求使用同一个线程池实例:io.servicecomb.core.executor.FixedThreadExecutor
FixedThreadExecutor内部默认创建2个真正的线程池,每个池中有CPU数目的线程,可以通过配置修改默认值:
  1. servicecomb:
  2.   executor:
  3.     default:
  4.       group: 内部真正线程池的数目
  5.       thread-per-group: 每个线程池中的线程数
复制代码
代码参见:
4.3    隔离仓
业务接口的处理速度有快有慢,如果所有的请求统一在同一个Executor中进行处理,则可能每个线程都在处理慢速请求,导致其他请求在Queue中排队。
此时,可以根据业务特征,事先做好规划,将不同的业务处理按照一定的方式进行分组,每个组用不同的线程池,以达到隔离的目的。
图16  隔离仓
          隔离仓的实现依托到ServiceComb 灵活的线程池策略 。

ServiceComb除了在华为云微服务引擎商用之外,也于2017年12月全票通过进入Apache孵化器。欢迎感兴趣的读者前往开源社区和我们讨论切磋,希望此文可以给正在进行微服务方案实施的读者们一些启发。



微服务框架ServiceComb Service Center是ServiceComb生态系统中的一个服务注册与发现中心,它基于Apache ServiceComb提供可靠的服务管理。Service Center存储有关每个服务实例的详细信息,包括其状态、位置和可用性信息。服务消费者可以使用这些信息来找到并调用这些服务。如果你已经集成了ServiceComb和Spring Boot,可以使用Spring MVC的注解来创建RESTful API。在这个例子中,和是Spring MVC提供的注解,用于定义一个REST服务端点。 阅读详情

相关推荐

华为云服务:serviceComb框架的使用

serviceComb的入门案例

ServiceComb要点笔记

1.组成部分 服务中心、配置中心、治理中心 2.与springcloud和dubbo对比 (开箱即用,可插拔式的) 集成了分布式事务 服务通信集成了rpc和rest 支持错误的注入 3.设计理念 编程模型–>运行模型–>通信模型 编程模型:provider-springmvc 通信模型:transport-rest-vertx、transport-rest-servlet、transport-highway 运行模型:handler-loadbalance、handler-bizkeeper(服

qq_41344109的博客 451

MATLAB实战:64QAM通信系统仿真全流程解析(附误码率优化技巧)

本文提供了一份完整的64QAM通信系统MATLAB仿真实践指南。从系统架构设计、发射端格雷码映射与脉冲成形,到信道建模、接收端同步与均衡,详细解析了全链路实现流程。文章重点分享了误码率曲线与理论值偏差的排查清单和深度优化技巧,帮助工程师构建工业级精度的仿真模型,解决高阶调制系统仿真的核心难题。

jenkins8butler的博客 404

如何稳定查询韩国法院不动产拍卖公告:k-skill court-auction-notice-search 反爬与三条查询路径实战

用户问了一句:"明天首尔中央地方法院有哪些不动产拍卖?"要回答它,得先摸到韩国大法院运营的 법원경매정보 网站(courtauction.go.kr)。但这个站点没有公开的 Open API,而且对自动化流量极其敏感。k-skill 仓库里的 `court-auction-notice-search` 技能就是为这个场景做的:一个只读、保守、"慢即是稳"的不动产拍卖公告查询客户端,把法院公开的 매

gitblog_01127的博客 483

告别城市峡谷定位漂移:手把手教你用PSINS仿真INS/NHC/ODO组合导航(附代码获取)

本文详细解析了INS/NHC/ODO组合导航系统在城市峡谷环境中的应用,通过PSINS平台实现精准定位。文章涵盖核心原理、环境搭建、算法实现及性能优化,帮助开发者解决GNSS信号中断时的定位漂移问题,提升自动驾驶系统在复杂环境中的可靠性。

weixin_30329623的博客 430

在Visual Studio中搭建Dynamo Python开发环境,效率飞一般的增长

在Visual Studio中搭建Dynamo Python开发环境,效率飞一般的增长

BIM的乐趣 1731

Apache ServiceComb概述

ServiceComb 作为 Apache 开源组织下的一款微服务框架,其前身为华为云的 微服务引擎CSE(Cloud Service Engine) 云服务。它意味着国内一款微服务框架在华为和 Apache 组织的共同努力下,随着微服务市场的火爆,一定会让越来越多的开发者所喜欢。

Adley志明.杨的博客 698

学术版GPT安装教程——保姆版(附带原生GPT注册教程)

学术版GPT图文安装教程

DBenD的博客 2万+

探索ServiceComb:构建高效微服务的不二之选

探索ServiceComb:构建高效微服务的不二之选 在现代软件开发领域,微服务架构因其灵活性和可扩展性而广受欢迎。为了帮助开发者更轻松地进入这一领域,Apache ServiceComb提供了强大的工具集——ServiceComb Samples,这是一个面向Java开发者的丰富资源库,专为使用java-chassis 3.x.x设计。无论你是微服务的新手还是寻求优化现有系统的专家,本文将带你深...

gitblog_00939的博客 930

USB 3.0 Rx Detect之超速U盘的识别

USB 3.0 Rx Detect之超速U盘的识别

汽车以太网和SOA 2万+

用大白话讲解Carplay(原创)

用大白话讲解Carplay: Carplay是美国苹果公司开发的一套服务,用户通过这套服务可以将iPhone与车载系统连接,然后在车载大屏上操作使用iPhone手机。个人理解,Carplay不能叫车载系统,不是操作系统,只能算一种服务。让你在车上的大屏上使用iPhone,这样用起来更方便,不需要在手机小屏幕上操作。基于这一点,有些人也说Carplay就是个投屏的功能,将手机屏幕投屏到了车机大屏上。可以简单这么理解,但是并不只是投屏这么简单,如果只是投屏的话,车子只是起到了一个显示器的功能,其实不止,手机和

cici2013的专栏 2万+

奇蛙联合ServiceComb微服务化,打造无人机智慧控制大脑

             序 南京奇蛙智能科技有限公司,聚焦于发展工业级无人飞行器,在无人机领域有十年技术和经验积累,其智慧控制业务在无人机领域拥有核心竞争力,贯穿端到云的全流程,向用户提供实时直播、远程控制及多屏/多人互动的无人机管理和信息共享,覆盖公共安全、环保气象、能源电力等领域。       奇蛙联合ServiceComb打造无人机“微”大脑 奇蛙智能科技智慧控制业务,以云...

ServiceComb的博客 865

FFmpeg 部署与使用(含Docker部署)

ffmpeg 部署以及使用

weixin_38584583的博客 914

一起读Apache ServiceComb

喜欢我,就点个Star吧~https://github.com/apache?q=servicecomb入门必读:必读1:首个Apache微服务顶级项目毕业必读2:致微服...

微服务技术与实践专栏 2437

大规模新闻聚合爬虫实战:Python爬取数百万新闻数据的完整指南

本文详细介绍了如何构建一个大规模新闻聚合爬虫,结合Python异步爬虫技术,实现高效、稳定的新闻数据采集。增加NLP模块对新闻内容做自动分类、情感分析。引入机器学习模型检测新闻真实性。使用分布式爬虫框架进一步提升规模。增加多媒体内容抓取与处理。

2201_76125261的博客 1557

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

企业级基础框架搭建-前期准备

主流框架调研 主流微服框架 sofa 开源地址:https://github.com/alipay/sofa-boot 开源公司:蚂蚁金服 框架简介:sofa是一系列基础组件统称,底层sofa-boot是以Spring Boot研发,提供健康检查、日志隔离、类隔离等能力;sofa-rpc高可扩展性、高性能、生产级的 Java RPC 框架,提供了丰富的微服务治理方案;sofa-tracer分布式系...

JAVA圈的博客 1156

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

“微服务高速公鹿” | 微服务高速通信设计

开卷有益,点击蓝字关注哟2018企业应用微服务化的思考近年来越来越多的企业开始实践微服务,而微服务在企业应用落地的过程,面临着微服务开发框架的选型,无论是自研还是选择第...

微服务技术与实践专栏 317

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

一年一次开源盛会,微服务活动看过来

2019年6月24日13:00 - 16:00上海世博中心 610-611房间ps:观看网络同步直播链接请直接戳底部阅读原文一年一度开源盛会 KubeCon + Clo...

微服务技术与实践专栏 215

微服务蜂巢 | 云原生一周资讯

云原生周资讯 一、Spring Cloud发布Hoxton.M3版本,增加基于Reactive服务发现客户端 10月5日Spring Cloud官方发布Hoxton.M3版本,在新版本中,Spring Cloud Netflix、Spring Cloud Zookeeper、Spring Cloud Consul、Spring Cloud Kubernetes分别增加了对Re...

微服务技术与实践专栏 529

八家一线厂商联合打造,首个5G边缘计算开源平台正式上线

业界首个 5G 边缘计算开源平台 EdgeGallery宣布在Gitee上正式开源。EdgeGallery 由中国信息通信研究院、中国移动、中国联通、华为、腾讯、紫金山实验室、九州云和安恒信息等八家创始成员发起,其目的是打造一个以“联接+计算”为特点的 5G MEC 公共平台,实现网络能力(尤其是 5G 网络)开放的标准化和 MEC 应用开发、测试、迁移和运行等生命周期流程的通用化。 EdgeGallery 的核心项目之一就是今天所介绍的 MEP。 项目名称:MEP 项目作者:EdgeGalle...

ZicoChan的博客 592

Cloud Native Weekly |IBM收购Red Hat;CNCF 托管第一个容器运行时安全项目

云原生一周精选 1——IBM收购Red Hat,在拥挤云市场另辟蹊径 2——业内首个Apache微服务顶级项目 | 华为开源的ServiceComb毕业 3——CNCF 托管第一个容器运行时安全项目 4——Spinnaker 1.10强化Kubernetes自动化部署,不再需要操作复杂的Manifests部署 1.IBM收购Red Hat,在拥挤云市场另辟蹊径 Red Hat是将开源软件商业化的先...

华为云CCE云容器引擎 652

聆听中国开源最强音

聆听中国开源最强音,阿里、华为、腾讯、小米齐聚北京,万众期待的 OSCAR 开源先锋日终于到来啦! OSCAR 开源先锋日旨在为本土开源企业与开源软件提供分享与交流的平台,促进国产开源软件的繁荣发展。该活动由中国信息通信研究院主办,云计算标准与开源推进委员会、清华大学 TUNA 协会、北京大学开源软件协会承办,由云计算开源产业联盟、华为、腾讯、阿里巴巴、小米支持,高效运维社区协办。 本次 ...

优快云业界要闻 687

Apache ServiceComb微服务技术的发展

Apache ServiceComb,正式诞生于2018年10月24日,从此一个以解决微服务问题为愿景的基金会项目进入大众的视野。近几年,微服务更多地暴露在国内技术圈的聚光灯下,成为技术社交、媒体和大会演讲的热点,华为云将ServiceComb开源并捐赠给Apache软件基金会。

Adley志明.杨的博客 670

华为 ServiceComb框架

华为 ServiceComb框架 一、ServiceComb 概述 1.背景介绍 ServiceComb 作为Apache 开源组织下的一款微服务框架,其前身为华为云的 微服务引擎 CSE (Cloud Service Engine) 云服务。它意味着国内一款微服务框架在华为和Apache 组织的共同努力下, 随着微服务市场的火爆,一定会让越来越多的开发者所喜欢。 2.首要原则 全球首款进入Apache 的开源微服务项目,中立、开放、标准、无商业Lock-in 开源与商业代码同源,具备零成本平滑迁移商

Java_Pluto的博客 7763
上一篇: 打造一个企业级应用的微服务开发框架(上)---从服务注册中心到服务管理中心
下一篇: 使用商业版微服务CSE vs 使用开原版微服务Spring Cloud
looook
博客等级 码龄20年 145粉丝 195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值