基于CSE的微服务工程实践-以契约为中心

微服务架构下的契约驱动开发实践 同时,契约还可以作为前后端分离开发的约束,前端开发人员可以根据契约定义的接口规范进行开发,从而提高开发效率和协作效果。CDL提供了丰富的语法和语义,可以定义请求和响应的数据结构、路径、方法和参数等。除了代码生成工具,CSE还提供了契约驱动的测试工具,可以根据CDL自动生成测试用例,并进行接口的自动化测试。在微服务架构中,契约是服务之间约定的接口规范,定义了请求和响应的数据格式、协议和行为。通过CSE的代码生成工具,我们可以根据CDL自动生成相应的接口代码,包括请求参数的解析、响应数据的封装等。 阅读详情

微服务架构有一个核心特征:采用REST进行通信。微服务之间通过网络进行通信,不通过共享文件、数据库、内存等方式进行通信。亚马逊最早引入微服务的时候,强制所有开发团队必须通过网络的方式开放服务能力,不允许任何其他方式进行能力开放。REST作为一种轻量级的网络通信方式,在微服务架构下被广泛采用。

为了满足微服务团队之间的交流,OPENAPI Initiative制定了Open API标准,该标准综合考虑了不同语言、REST等接口习惯,定义了完整的跨平台接口标准。CSE是最早采用和实现该标准的微服务开发框架,并将“以契约为中心”的概念,应用于整个微服务开发实践。下图展现了软件开发周期的各个环节“契约”所扮演的角色。

1.管理、设计环节

微服务的能力全部通过REST接口开放,从管理和设计角度,提供了一个很好的管控点。在实际的项目团队里面,需求分析和设计人员首先对微服务的接口进行设计,并创建独立的git库存放接口定义。通过做好git库的权限管理,并将Code Review流程纳入接口项目的管控,管理者能够保证软件规格是按照设计要求进行的。

CSE开发的微服务,启动的时候会分析微服务所有的对外接口,并将契约信息注册到服务中心,服务之间的调用需要严格满足契约的要求,并提供了管理界面,可以方便的查询契约。

通过静态的方法管控规格一般是不够的,管理者还可以使用契约生成测试代码,书写一定的验收测试用例,或者将契约提交给第三方进行验收测试。

为了更好的支持接口管控和微服务实现分离,需要对代码组织方式提出一定的要求。[基于CSE的微服务工程实践-Native API先行](https://bbs.huaweicloud.com/blogs/7c03a4793cd011e9bd5a7ca23e93a891) 提供了一个可以供开发者参考的项目。

2.开发、测试环节

基于契约,可以开发代码生成工具,生成开发项目或者测试项目。开发者只需要按照接口要求,实现业务逻辑和测试逻辑。

[单体应用微服务改造实践](https://bbs.huaweicloud.com/blogs/17ad483f325f11e9bd5a7ca23e93a891) 里面提到了自动化测试在保障软件质量方面起到的关键作用,也提到了如何通过开发测试微服务进行更好的集成测试。通过工具生成开发、测试项目,使得开发人员能够在开发业务逻辑的时候,同步开发测试微服务。

3.部署环节

契约能够帮助用户更好的管理能力开放。“API经济” 打开了公司能力通过API的方式对外界开放的窗口,很多公司通过提供接口给其他公司使用,并通过计费系统,按调用次数或者时长进行收费。能力开放的核心组件是APIG,APIG能够帮助用户完成开放接口的配置、计费以及常见的管控,比如流量控制等。有了契约,完成这些配置,不需要人工输入,只需要将契约导入,勾选对应接口的规则就完成了能力开放。

4.治理

治理是本文讨论的重点。谈到微服务,就会谈到微服务治理。不同的地方对于微服务治理有不一样的定义。本文认为,保障微服务可靠运行的机制集合,共同构成了服务治理。为了更好的理解这个概念,下面分几种最常见的场景进行分解,帮助理解什么样的服务治理才是最好的,同时也可以帮助用户理解在采用其他技术,比如Istio在微服务治理能力方面的差异。

4.1负载均衡管理

弹性扩缩容、服务永远在线是微服务的核心价值和特征。弹性扩缩容意味着通常运行环境一个微服务都会有多个版本,永远在线则意味着运行环境不可避免的需要考虑多个微服务版本并存的状况。负载均衡管理器的核心功能是将用户请求转发到正确的实例上面去。下面假设微服务A访问微服务B。B的实例采用B11, B12, B21, B22这样的方式描述,比如B11表示微服务B版本1的实例1,B21表示微服务B版本2的实例1,以此类推。

负载均衡策略考虑的是在目标微服务存在多个实例的情况下,采用什么规则转发请求,常见的有Round Robin,Rondam和基于权重的负载均衡策略。负载均衡策略的配置一般是针对目标服务进行配置的,CSE允许给每个微服务配置独立的负载均衡策略:

```

cse:

  loadbalance:

    B:

      strategy:

        name: RoundRobin

```

接口兼容是微服务管理里面非常常见的问题,虽然可以通过管理要求,让开发者符合一定的规则,比如:

  • 不允许删除接口
  • 不允许修改接口原型定义
  • 只允许新增接口,或者对老接口的bug进行修改

但是微服务处理请求转发仍然面临问题,比如B2相对于B1,新增了接口op2,也就是B11,B12存在接口op1,B21,B22存在接口op1,op2,当A请求op1的时候,可以将请求转发给B11,B12,B21,B22,当A请求op2的时候,只能将请求转发给B21,B22。负责均衡器需要通过契约识别微服务B的哪个实例具备op1和op2。CSE有了契约,这个转发过程是框架自动完成的,将开发者从处理接口兼容场景下的转发问题中解放出来。

在修改接口语义的情况下,这种情况会稍微变得更加复杂一点。比如B1的op1接口存在bug,修复后,升级到B2,升级后,期望A对于B的访问,都到B2,而不到B1。这个时候,就需要根据灰度规则手工引流。基于契约,CSE能够允许开发者基于请求参数定义转发规则,比如:

```

cse.darklaunch.policy.B={"policyType":"RULE","ruleItems":[{"groupName":"test","groupCondition":"version=2","policyCondition":"operation=op1","caseInsensitive":true}]}

```

上面的配置,将operation参数值为op1的请求,转发到微服务B的版本2实例上去。其中operation通常是接口参数名称,用于将接口参数值不同的请求转发到不同的实例,比如将userid=Chengdu的请求,转发到B2。CSE对接口参数进行了扩展,在InvocationContext里面的参数名称也可以用于灰度规则,这样就实现了在bug修改过程中的对于某个接口的灰度引流。

A将请求转发给B的时候,可能存在故障。有些故障是可恢复的,比如短暂的网络波动,导致请求失败,重试一下就可能成功;有些故障是不能恢复的,或者恢复时间较长,比如B11由于接收到大量请求,出现大量超时,如果B11继续接收新请求,那么会加重超时情况。对于可以恢复的故障,需要能够进行重试;对于不可恢复故障,则要考虑对于故障实例的隔离。CSE在负载均衡方面,对故障进行了分类,以针对具体的异常情况,进行重试和隔离。

负载均衡策略也会影响到性能。在容灾部署模式下,微服务实例被部署到不同的AZ上面,A在访问B的过程中,需要考虑当前A的实例所在的AZ,并将请求转发到同AZ的B实例上面去。AZ亲和能够提升性能,在本AZ无实例可用的情况下,还需要将请求转发到其他AZ,以实现可靠。

4.2流量控制和隔离仓

流量控制通常分为客户端流控和服务端流控。流量控制的难题是无法在产品开发的时候,就预测微服务的处理能力。有些用户场景,需要根据业务需要,人为降低部分接口的调用频率,以保证重点业务的资源能够得到及时满足。CSE基于契约,提供了非常简单易用的限流配置能力,可以控制具体到接口的流量。

```

cse.flowcontrol.Provider.qps.limit.[ServiceName].[Schema].[operation]=100

cse.flowcontrol.Consumer.qps.limit.[ServiceName].[Schema].[operation]=100

```

流量控制机制有很多不足。在微服务架构下,进行全局限流需要在考虑性能和准确性方面进行折中,设计很复杂的算法,所以通常没有提供全局限流能力。服务处理能力和运行环境有关系,需要很复杂的并发测试工具,来识别服务的处理能力,针对接口级别的限流策略面临着在实际环境中无法实施的尴尬境地。进行限流控制的本质原因,是解决计算资源分配的需要,所以从实际微服务实践中,进行必要的资源隔离,是比限流更有效的手段,通过资源隔离限制资源占用,不需要对处理能力进行预估,让业务系统尽最大能力处理更多的请求而不至于导致全局崩溃。通过线程池进行资源隔离,是非常有效的手段。基于契约,CSE能够非常方便的给具体接口分配独立资源。

```

cse.executors.Provider].[Schema].[operation]: custom-executor

```

线程池隔离的最早实践来源于Hystrix,CSE也通过biz-keeper模块集成了相关功能。但是Hystrix具体在使用的时候,存在性能差、调用栈过长并隐藏了底层错误导致无法定位问题等,Hystrix本身在实际业务系统中无法发挥本来设计上要解决的问题。CSE提供的线程池能力,在几乎不降低业务性能的情况下,提供了很好的资源隔离机制。

线程池排队队列的大小,是采用线程池隔离需要考虑的一个重要问题。设置合理的队列大小,及时丢弃请求(新来的请求,在队里里面排队超时的请求)对于系统可靠性和故障快速恢复显得非常重要。否则突发的大规模请求,可能导致系统瘫痪,长时间无法自动恢复。

5.运维

在运维阶段,契约仍然发挥非常重要的作用。基于契约,metrics可以生成接口级别的时延分布数据。

```

servicecomb.invocation.role=CONSUMER

servicecomb.invocation.operation=[ServiceName].[Schema].[operation]

servicecomb.invocation.status=200

servicecomb.invocation.type=latencyDistribution

servicecomb.invocation.scope=[1,3)

```

基于契约和metrics数据,可以开发强大的的运维工具,展现系统接口运行状况,快速查询接口运维数据。

CSE的metrics数据深入底层运行环境,能够读取和统计接口在队列排队、业务处理等非常细粒度环节的时延,从而为分析“毛刺”问题提供了数据支持。(“毛刺”是同事在分析性能问题的时候,对于部分请求某些时刻时延偏高,但是又不容易模拟重现现象的生动描述)

从零到一:嵌入式车载通信中间件VSOMEIP的跨平台构建之旅 本文详细介绍了嵌入式车载通信中间件VSOMEIP的跨平台构建过程,重点解析了交叉编译环境配置、Boost库编译、VSOMEIP定制化编译等关键技术环节。通过实战案例展示了在ARM架构嵌入式设备上的部署与调试方法,为开发者提供了一套完整的VSOMEIP嵌入式应用解决方案。 阅读详情

相关推荐

PLECS中DLL模块的使用

PLECS中DLL模块的使用 之前发布了一篇文章,介绍如何使用PSIM中的DLL模块。而本篇文章的内容与之类似,不过主角换成了PLECS。 PLECS和PSIM类似,也属于电力电子仿真软件,使用方便,仿真速度快,和Matlab也有一定的联系,有兴趣的可以去试试。PLECS可以利用外部动态链接库(DLL)来调用外部的代码参与仿真,方便复杂控制算法的实现,也有利于后期直接将代码移植到硬件控制器上。

OptimisticPoplar的博客 2718

华为CSE框架的一些知识点

华为后端框架CSE

须臾徐的博客 5512

N5105核显直通PVE:从黑屏到HDMI输出的完整指南

PCI直通能让虚拟机独占物理设备,但核显直通远没有独显那么轻松。Intel核显与CPU、显示输出链路的强耦合使UEFI引导、GOP驱动、驱动签名等环节都成了黑屏陷阱。在PVE虚拟化环境中,通过IOMMU开启、vfio-pci绑定、OVMF固件和Q35机型配合,可以绕过KVM检测,让Windows虚拟机正确驱动核显,从HDMI口输出画面,并解锁Intel Quick Sync硬解能力。这种方案尤其适合N5105等低功耗迷你主机,可作为客厅HTPC、本地视频硬解或依赖硬件加速的轻量工作台。本文基于N5105平台

weixin_31082403的博客 379

基于CSE的微服务架构实践-轻量级架构技术选型

点击上方蓝色字体,关注我们轻量级架构模式下,可以选择CSE作为RPC开发框架的基础,并选择其他开源技术实现微服务业务功能。Spring BootBoot的maven插件提...

微服务技术与实践专栏 649

14.4kW大功率母线变换器设计:LLC+矩阵变压器+GaN实战解析

在数据中心供电架构中,隔离母线变换器将高压直流母线转换为48V低压母线,是大功率供电链路的核心环节。随着功率密度与效率要求不断攀升,传统移相全桥与普通LLC方案已难以满足300A级输出需求。基于LLC/CLLC谐振拓扑,结合矩阵变压器与GaN功率器件,成为新一代高性能母线变换器的主流技术路线。矩阵变压器将大功率磁性元件拆分为多个小单元,配合原边串联副边并联结构,有效降低绕组损耗并提升功率密度;GaN器件则通过高频软开关进一步压减开关损耗。本文以一台14.4kW样机为例,完整梳理从拓扑选型、谐振参数计算、同步

weixin_28273593的博客 346

跟着团子学SAP PS:项目计划成本与项目预算设计思路

​在做SAP PS模块概览培训的时候,很多时候都会用到下面的一页PPT片子讲到项目计划成本与预算的关系,但真正这幅片子想表达的具体内容甚至大部分PS顾问也是无法阐明清楚的。 而SAP PS的设计其实是在丰富的项目管理学的基础上而开展的,所以今天从业务上结合SAP中的功能点讲一下项目成本计划及预算的逻辑。 在项目管理的十大知识领域中,项目成本管理主要是包括为使项目在批准的预算内完成而对成本进行规划...

Lucas1211的博客 3万+

微服务框架解决的那些被开发人员忽视的问题

容器、Mesher(Istio等)、微服务共同构成了弹性软件架构的基础。围绕弹性软件架构的技术创新层出不穷。通过识别这些技术的边界,能够帮助开发者更好的进行技术选型,更好...

Docker的专栏 618

openwrt之luci通信原理(一)

从模板中分离,每个LuCI2子页面也需要一个定义并存放在/www/luci2/view/目录下的一个视图,视图是使用了子页面特定对象的L.ui.view扩展的JavaScript文件。有一点需要注意的是需要提供execute方法,创建视图失败有几种原因,特别是当它需要ubus加载额外的数据使用的时候。所以在execute方法中提供成功或者失败的信息是有意义的。不幸的是在异步方法加载特定数据的时候,不能简单的返回true或false,解决的方法是返回一个Promise对象来运行推迟提供是否成功的信息。

1150

微服务引擎CSE是什么?

微服务引擎(Cloud Service Engine)是企业级微服务应用管理平台,包含微服务SDK,服务注册、配置和治理中心,帮助用户实现微服务应用的快速构建、实时监控和高可用保障。兼容主流开源生态,不绑定特定开发框架和平台,支持已有应用业务代码零修改接入。CSE有以下功能:微服务开发框架打包了微服务注册、发现、通信和治理等基础能力,开箱即用。微服务治理中心提供微服务负载均衡、限流、降级、熔断、容...

TemperCome的博客 6655

【AUTOSAR-COM】-10.5-APP CAN Frame/PDU“发送周期不准“的影响因素

一个Tx PDU在COM模块中的数据流; Tx APP CAN Frame/PDU"发送周期不准"的影响因素;

「汽车电子助手」的博客 2390

广联达Linkworks ArchiveWebService XML实体注入漏洞复现

广联达 LinkWorks /GB/LK/Document/ArchiveService/ArchiveWebService.asmx接口处存在XML实体注入漏洞,未经身份认证的攻击者可以利用此漏洞读取系统内部敏感文件,获取敏感信息,使系统处于极不安全的状态。

0xSec 2723

使用华为云CSE开发微服务应用

概述 CSE(Cloud Service Engine) Java SDK是华为推出的产品级微服务开发框架,已经在华为内部多个大型产品上得到了使用和验证。使用CSE Java SDK开发微服务,可以最大化的简化开发门槛,提升产品上线速度。同时可以获得微服务运行时高可靠性保证、运行时动态治理等一系列开箱即用的能力。 为了描述简单,本文会使用CSE指代CSE Java SDK,使用ServiceComb指代ServiceComb Java Chassis。 开发者可以通过微服务引擎[华为云](https:

NicolasLearner的博客 2956

基于分水岭分割进行肺癌诊断

近年来,肺癌的发病率和病死率均迅速上升,目前已居所有癌症之首。随着肺癌病人数量的增加,医生对肺部 CT 图像进行研判的工作量也增加了不少,在这种情况下难免工作效率降低甚至会出现误诊。为了帮助医生减少重复性工作,对肺部 CT 图像进行计算机辅助检测的技术就被广泛应用于对肺癌的诊断和治疗过程中。医学 CT 图像处理主要是研究医学图像中的器官和组织之间的关系,并进行病理性分析。

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 1568

华为云PaaS平台微服务治理3微服务引擎CSE

3微服务引擎CSE 3.1华为云PaaS平台介绍 华为云PaaS平台以华为FusionStage2.0项目为基础,基于Docker、Kubernetes等主流开源容器项目,提供了开 发、测试、部署、运维的全流程自动化流水线能力,提供先进的微服务框架和丰富的服务组件,致力于让开发者专 注于代码开发本身,提升开发效率,支持丰富的应用生态,推动企业更好的云化转型。 什么是PaaS? PaaS是云计算...

kai46385076的专栏 4925

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

消费者云CSE微服务实践

华为架构师李林锋分享华为消费云CSE的微服务实践。

wangluoanquan111的博客 1139

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

MCP与华为云CSE珠联璧合,打造AI时代微服务生态引擎

【摘要】科技圈爆火的MCP是一种专为 AI 应用设计的通信协议,华为云 CSE 通过创新性地结合 MCP 协议和微服务体系,可以帮助企业解决传统微服务适配 AI 系统的多重痛点。

华为云官方博客 1104

springboot接入华为微服务引擎CSE全过程及后续遇到的问题一览

最近有项目需求把现有的单体应用,springboot接入华为的微服务引擎CSE,这里列出我遇到的问题,以及解决方案。

张遂程的博客 6228

基于华为云CSE微服务接口兼容常见问题

微服务接口兼容常见问题 在进行微服务持续迭代开发的过程中,由于新特性在不停的加入,一些过时的特性在不停的修改,接口兼容问题面临巨大的挑战,特别是在运行环境多版本共存(灰度发布)的情况下。本章节主要描述接口兼容管理的一些实践建议,以及在使用CSE过程中碰到了兼容性问题的解决办法。由于微服务一般都通过REST接口对外提供服务,没有特殊说明的情况下,这里的接口都指REST接口。 保证接口兼容的实践 ...

微服务技术与实践专栏 7929

ServiceComb微服务框架

华为提供的微服务解决方案:Service Comb

学习记录和总结 1万+

跟我学CSE系列之7:使用CSE作为RPC框架

CSE作为一个独立的RPC框架实现,可以非常容易集成到Spring Cloud中。通过将Spring RESTful Web Service替换为CSE,可以给开发者带来如下便利:一致的开发体验。使用CSE的SpringMVC模式,可以获得和Spring RESTful Web Service一致的开发体验,包括一样的声明式Annotation,使用RestTemplate进行访问。更好的RPC支...

微服务技术与实践专栏 6093

使用inspector功能查看和管理契约

【摘要】 本文介绍了CSE的inspector新特性的使用。 CSE从2.3.65版本(ServiceComb 1.2.0)开始,提供了inspector功能,该功能提供了用户查看、下载契约,生成文档和对API接口进行测试的功能。这个功能直接在微服务提供,用于弥补通过服务中心查看契约和对接口进行测试的不足。inspector功能后续会做进一步增强,除了管理契约,还可以观察微服务的内部状态,帮助定...

华为云官方博客 1771

使用华为云CSE作为RPC框架的实践

使用CSE作为RPC框架 CSE(Cloud Service Engine:华为开源微服务框架ServiceComb的云服务版本,了解详情:https://www.huaweicloud.com/product/cse.html)作为一个独立的RPC框架实现,可以非常容易集成到Spring Cloud中。通过将Spring RESTful Web Service替换为CSE,可以给开发者带来如下...

微服务技术与实践专栏 4169
上一篇: 华为云PaaS首席科学家:Cloud Native +AI,企业数字化转型的最佳拍档
下一篇: 使用CSE轻松实现接口访问控制
looook
博客等级 码龄20年 145粉丝 195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值