ServiceComb微服务升级实践

【教程】ServiceComb安装和配置 Apache ServiceComb 提供了融合开源生态的一站式微服务开源解决方案,致力于帮助企业、用户和开发者将应用轻松微服务化上云,实现对微服务应用的高效运维管理。 阅读详情

 

在使用ServiceComb时,大家关注最多的是微服务注册发现、高性能、服务治理和无状态等特性,其中无状态之后就可以随意起停,但是在运维时,我们发现并不是这么回事。因为如果直接杀掉进程、再重新启动,可能会有正在处理的事务,会导致业务报错,还有就是杀掉的进程并不会马上被调用端感知,调用端会出现大量的异常,即使配置重试、隔离机制,也只能减少一部分异常,所以在正常升级过程中,我们探寻如何零异常也是一个富有挑战性工作。

  1. 优雅停机

实现原理:ServiceComb在启动时,通过向JVM注册一个Hook来响应操作系统的信号量,Runtime.getRuntime().addShutdownHook(new Thread(this::destroy)); 所以优雅停机依赖于JVM的ShutdownHook机制,会在以下情况下会被触发:

  • 程序正常退出,当最后一个非守护(no-daemon)线程退出或者进程退出方法被执行,例如System.exit方法被执行
  • 虚拟机被人为终止,例如^C,kill pid等(kill -9 pid不会触发)
  1. 服务提供方,停止时,先把服务状态标记为STOPPING,不再接受新的请求,新的请求会被拒绝,客户端可以配合重试机制重试到别的节点。然后去服务中心注销本实例,等所有已接收的请求处理完毕,最后等所有线程执行完毕
  2. 服务消费者,先标记服务状态为STOPPING,直接拒绝发起新的调用请求,等待当前已发送的请求响应,如果超时,则强制关闭。

使用方法:kill pid

在实际使用过程中,我们可能会碰到执行kill pid不能杀掉进程:

  1. 信号量被拦截,根本没有触发ServiceComb的hook。

有一次产品使用时,发现使用kill pid不能触发优雅停机,但是kill -1 pid可以,最后定位发现是使用的一个中间件,它设置了Signal处理用户输入信号,导致ServiceComb的Hook没有被触发

  1. 进程启动了自己定制的线程池或用户的非守护线程,ServiceComb停机时,没有停止对应的线程。

排查这种情况可以先查看ServiceComb日志,是否有ServiceComb is closing now...如果有表示已经触发,如果有表示已经触发到了ServiceComb的优雅停机机制。是否有ServiceComb had closed表示ServiceComb已经关闭完了。如果进程还没有退出,说明进程肯定还有非守护线程在运行,具体可以通过jstack查看线程状态,判断是哪些线程仍然在执行。

如果需要主动关闭业务线程,实现BootListener接口,支持SpringBean和SPI两种加载机制,例如:

import org.apache.servicecomb.core.BootListener;

import org.springframework.stereotype.Component;

 

@Component

public class DemoBootListener implements BootListener {

 

    @Override

    public void onBootEvent(BootEvent event) {

        if (!EventType.AFTER_CLOSE.equals(event.getEventType())) {

            return;

        }

        // 响应关闭事件,关闭业务相关,比如数据库连接,定时任务等

        close_self_threads();

    }

}

 

 

保护措施:在kill pid后,增加一个超时保护措施,如果时间范围内还没有kill成功,则调用kill -9 pid强制杀掉进程

遗留&优化:在优雅停机时,向服务中心注销时,并不会等服务中心通知所有服务消费者实例成功后再停机,服务中心会延迟两秒通知到消费者。所以在这短暂过程中还会有请求过来,如果流量较大还会触发隔离,还可能产生不必要的告警。

  1. 滚动升级

ServiceComb对优雅停机的良好支持,结合优雅停机,可以很好地实现滚动升级

http://image.huawei.com/tiny-lts/v1/images/e3f02256a27fe2ba39a4_660x464.jpg@900-0-90-f.jpg

比如服务A调用服务B,现在服务B有三个实例B1/B2/B3,可以按照以下步骤升级:

  1. 首先升级实例B1,先对B1执行优雅停机,B1会从注册中心中注销实例
  2. 服务中心会通知消费端A 实例B1已经注销
  3. 服务A刷新本地缓存,不会再请求到实例B1
  4. 对B1进行升级(二进制文件替换或者镜像替换),然后重新启动
  5. 实例B1重新注册
  6. 服务中心会通知消费端A 有实例B1注册
  7. 服务A刷新本地缓存,请求会重新分发到实例B1
  8. 然后依次升级其他的实例B2 B3

滚动升级一把都要结合部署系统,下面结合华为云ServiceStage来看看具体部署实现:

  1. 优雅上线

服务新的版本上线启动后,如何知道这个实例能否正常提供服务,如果实例启动正常,但是不能正常提供业务服务,比如数据库配置错误,这样会导致业务异常,升级失败。ServiceComb支持启动时设置实例状态,当服务启动时,可以先设置为TESTING,实例可以在服务中心正常注册,也能被发现,但是其它服务不会调用这个实例。启动拨测服务,对该实例接口进行拨测验证,只有所有接口都测试通过后,再把该实例状态改为UP,其它服务才会把流量分发到该实例。

  1. 实例B1升级完成,向服务中心注册实例,状态为TESTING
  2. 服务中心通知服务A服务B1注册,服务A刷新服务B实例,由于是TESTING状态,不会发起调用
  3. 拨测服务开始对实例B1进行接口测试
  4. 4.1 测试完成后,会调用服务中心接口,把状态改成UP

4.2 可以增加一个通知接口,告诉实例已经拨测成功,实例B1标记该版本拨测成功

  1. 服务中心通知服务A实例发生变化,服务A刷新实例,把流量分发到实例B1

优雅上线一般是服务升级时才需要,所以需要区分升级和重启两种场景,所以在初次升级时,启动脚本可以检测该版本是否已经成功启动过,如果没有,则把实例状态设置为TESTING,否则不设置实例状态。拨测服务拨测成功后,可以调用实例接口告诉该实例已经拨测成功,实例可以在该接口设置该版本是否已经成功拨测。

 

  1. 灰度升级

ServiceComb支持灰度升级时基于两个功能:

  1. 隐式传参,ServiceComb提供InvocationContext的context上下文,该上下文的参数可以在服务之间传递
  2. 路由扩展,ServiceComb提供了易扩展的负载均衡能力,其中包括Discovery机制和ServerListFilter机制,详细可参考ServiceComb的负载均衡文档

在使用ServiceComb中,碰到最多的就是一下两种情况,1、小版本小特性升级 2、大版本全网升级

小版本、小特性升级,新的特性只给符合特定要求的用户使用。比如某商城,促销服务上线了一种新型促销功能,只对VIP用户开放

我们可以利用HttpServerFilter机制,根据参数,对实例版本进行过滤。也可以使用CSE提供的页面进行灰度设置

 

大版本全网升级,在团队大项目中,这种场景很常见,几个项目组经过一两个月开发,统一到现网升级,该版本性能、可靠性都没经过生产环境检验,所以先升级到灰度,让部分用户先体验,然后再决定是否全网升级

灰度节点统一打上标签,实例注册时带上该标签属性,这个可以通过ServiceComb提供的org.apache.servicecomb.serviceregistry.api.PropertyExtended机制来实现,例如:

public class GrayPropertiesReader implements PropertyExtended {

    private static final Logger LOGGER = LoggerFactory.getLogger(GrayPropertiesReader.class);

    @Override

    public Map<String, String> getExtendedProperties()

    {

        boolean isGray = false;

        try {

           // 得到是否是灰度节点

            isGray = Configurator.getInstance().isGrayMode();

        } catch (Exception e) {

            LOGGER.warn("Read gray properties failed.", e);

        }

        Map<String, String> grayProperties = new HashMap<>();

        if (isGray) {

            grayProperties.put(ContextKeys.X_IS_GRAY, "1");

        }

        else {

            grayProperties.put(ContextKeys.X_IS_GRAY, "0");

        }

        return grayProperties;

    }

}

然后扩展实现一个ServerListFilterExt,使用SPI机制来加载它,如下:

public class GrayServerListFilter implements ServerListFilterExt {

 

    private static final Logger LOGGER = LoggerFactory.getLogger(GrayServerListFilter.class);

    private static final String GRAY_FLAG = "1";

 

    @Override

    public List<ServiceCombServer> getFilteredListOfServers(List<ServiceCombServer> servers, Invocation invocation) {

        boolean grayFlag = false;

        Object xgray = invocation.getContext("x-is-gray");

        if (GRAY_FLAG.equals(xgray)) {

            grayFlag = true;

        }

        List<ServiceCombServer> retList = new ArrayList<>();

        if (servers != null && !servers.isEmpty()) {

            for (ServiceCombServer server : servers) {

                if (server.getInstance() != null) {

                    String gray = server.getInstance().getProperties().get("x-is-gray");

                    if (grayFlag && GRAY_FLAG.equals(gray)) {

                        retList.add(server);

                    } else {

                        retList.add(server);

                    }

                }

            }

        }

        if (retList.isEmpty()) {

            LOGGER.error("Fail to find provider service instance , gray flag is {}", grayFlag);

            throw new InvocationException(new HttpStatus(400, "no instance"), "find non instance in mode " + grayFlag);

        }

        return retList;

    }

}

 

 

 

微服务框架ServiceComb Service Center是ServiceComb生态系统中的一个服务注册与发现中心,它基于Apache ServiceComb提供可靠的服务管理。Service Center存储有关每个服务实例的详细信息,包括其状态、位置和可用性信息。服务消费者可以使用这些信息来找到并调用这些服务。如果你已经集成了ServiceComb和Spring Boot,可以使用Spring MVC的注解来创建RESTful API。在这个例子中,和是Spring MVC提供的注解,用于定义一个REST服务端点。 阅读详情

相关推荐

ServiceComb介绍与框架源码分析

1. 介绍 ServiceComb是华为开源的微服务解决方案,支持开箱即用、高性能通信、兼容SpringCloud生态、多语言支持、分布式事务等。 关键特性: 开箱即用:支持服务注册发现,负载均衡,熔断容错、分布式事务(Pack)等机制,很容易集成到微服务中 高性能通信:基于Vertx实现纯异步内核,支持同步和异步调用,提供高吞吐量、低时延的服务间通信 兼容SpringCloud生态:支持以spring-boot-starter的方式集成到SpringCloud生态中 多语言支持:支持Java、Go语言微

Just for fun 3124

ServiceComb微服务框架

华为提供的微服务解决方案:Service Comb

学习记录和总结 1万+

Apache ServiceComb 的微服务数据最终一致性解决方案 Saga 演进

摘要: 微服务 开源项目 Apache ServiceComb(incubating) 的 微服务事务的数据一致性解决方案 Saga[4](以下简称Saga)进行了演进。相对于上一版[2],新演进的设计主要有以下优势: 极大提升易用性。开发者只需使用2-3个注解(即启用事务服务:EnableOmega、全局事务标记:SagaStart和子事务标记:Compensable)。 更方便扩展。对微服务框...

ServiceComb的博客 1280

serviceComb的入门

华为的微服务:servicecomb的使用,做了个 小demo

小王的博客 4843

Apache ServiceComb架构升级:实现多数据中心微服务发现与负载均衡

随着微服务架构的广泛应用,越来越多的组织开始构建分布式系统,其中涉及多个数据中心的部署。为了有效管理和调度这些分布式微服务,Apache ServiceComb进行了架构升级,引入了多数据中心微服务发现和负载均衡的支持。本文将详细介绍ServiceComb架构的演进,并提供相应的源代码示例。

TpCode的博客 310

机器学习实例(预测房价中位数)(附代码)

1、下载数据: 下载一个压缩文件housing.tgz即可,其包含housing.csv(已经包含书有数据。),用 tax xzf housing.tgz 来解压提取CSV文件。 import os import tarfile import urllib.request DOWNLOAD_ROOT = "https://raw.githubusercontent.com/ageron/handson-ml2/master/" HOUSING_PATH = os.path.join("datasets",

qq_51153436的博客 2763

基于ServiceComb的接口兼容性最佳实践

在进行微服务持续迭代开发的过程中,由于新特性在不停的加入,一些过时的特性在不停的修改,接口兼容问题面临巨大的挑战,特别是在运行环境多版本共存(灰度发布)的情况下。本章节主要描述接口兼容管理的一些实践建议,以及在使用CSE过程中碰到了兼容性问题的解决办法。由于微服务一般都通过REST接口对外提供服务,没有特殊说明的情况下,这里的接口都指REST接口。 保证接口兼容的实践 为了防止接口兼容问题,开...

微服务技术与实践专栏 2370

三维(点云)语义分割概述以及方法总结

语义分割 语义分割需要两部分 classification: 需要全局信息 segmentation:更加依赖全局信息和局部信息 一般的网络结构是: 提特征-特征映射-特征图压缩(降维)-全连接-分类,其实就是encoder-decoder的过程, 比如在二维的的pspnet,fcn等等 0. 三维表示的数据结构 Point cloud 无序性 点云实际上是无序的,比如有8个点云,你放到...

renhaofan的博客 3万+

异构微服务数据无损通信:Apache ServiceComb syncer完整示例实践

Apache ServiceComb ServiceCenter 1.3.0版本已于2019年11月07日发布,在这次版本中带来了异构、多服务中心同步工具 Syncer,在这里将从我们的已有的实践经验出发,带来对Syncer的介绍。 项目地址:https://github.com/apache/servicecomb-service-center/tree/master/syncer 1.3.0版...

微服务技术与实践专栏 987

基于Flink的风控系统

可以使用Flink-Stream进行实时数据流的检测和处理,或者使用Flink-Kafka集群进行数据转发和存储,然后使用Flink-Table进行数据表的查询和分析。在Flink中,可以使用Flink-Stream进行数据流的处理,或者使用Flink-Kafka进行Kafka数据流的消费和处理。Flink的运行时本身也支持迭代算法的执行。可以使用Flink-Stream进行实时数据流的检测和处理,或者使用Flink-Kafka集群进行数据转发和存储,然后使用Flink-Table进行数据表的查询和分析。

m0_68231587的博客 1875

CANFD升级踩坑实录:DBC转换时DLC大于8的信号怎么处理?

本文详细探讨了CANFD升级过程中DLC大于8的信号处理问题,提供了工程化解决方案和AutoSar BSW层配置要点。通过分析CAN与CANFD的DLC本质差异,提出信号拆分重组、DLC重映射和协议层适配三种策略,并给出验证与测试方案,帮助开发者避免数据截断和通信故障。

weixin_42521843的博客 233

一起读Apache ServiceComb

喜欢我,就点个Star吧~https://github.com/apache?q=servicecomb入门必读:必读1:首个Apache微服务顶级项目毕业必读2:致微服...

微服务技术与实践专栏 2437

经典密码体制(上)

头歌

shannidawang的博客 3086

打造一个企业级应用的微服务开发框架(下)---ServiceComb通信处理详解

【摘要】近年来越来越多的企业开始实践微服务,本文分为上下两篇介绍微服务框架ServiceComb如何帮助企业应用进行微服务化,实现快速交付,并可靠地运行在云端。下篇介绍ServiceComb的通信处理设计。近年来越来越多的企业开始实践微服务,而微服务在企业应用落地的过程,面临着微服务开发框架的选型,无论是自研还是选择第三方框架都不得不考虑的问题包括:微服务框架是否具备高可靠性,任何时间不能中断业务...

微服务技术与实践专栏 2897

基于SpringBoot+SpringCloud+Vue前后端分离项目实战 --开篇

如何高效学习Java? 毕业设计项目应该怎么做?入门实战项目应该怎么做? 做Java开发都应该学习哪些框架技术? 我想来跟你聊聊为什么要学习此专栏?我们经常说,看一个事儿千万不要直接陷入细节里,你应该先鸟瞰其全貌,这样能够帮助你从高维度理解问题。同样,当你迷茫想努力没有方向时,最事半功倍的方法是:找人带你! 因为过来人,更懂得如何学、如何做、如何少走弯路! 那今天就给大家带来一门专栏课程,由 天罡gg 和 经海路大白狗 两位实力大牛合力打造的一款专栏,可以让你从0到1快速拥有企业级规范的项目实战经验!

天罡gg的专栏 2万+

[密码学实战]商密TLCP协议抓包解析与深度分析(二十九)

[密码学实战]商密TLCP协议抓包解析与深度分析(二十九)

曼岛_的博客 633

奇蛙联合ServiceComb微服务化,打造无人机智慧控制大脑

             序 南京奇蛙智能科技有限公司,聚焦于发展工业级无人飞行器,在无人机领域有十年技术和经验积累,其智慧控制业务在无人机领域拥有核心竞争力,贯穿端到云的全流程,向用户提供实时直播、远程控制及多屏/多人互动的无人机管理和信息共享,覆盖公共安全、环保气象、能源电力等领域。       奇蛙联合ServiceComb打造无人机“微”大脑 奇蛙智能科技智慧控制业务,以云...

ServiceComb的博客 865

镜头像差之五——场曲

什么是场曲? 场曲[curvature of field] 物面上所有的点经过系统后,最佳焦点位置不在同一平面上,若这些像点所成的面为曲面,则称为系统有场曲。 与物高二次方、入射光瞳口径一次方成正比的像差。若仅存在场曲,则所有物平面上的点都有相应的像点,但分布在一个球面上;若采用弯成此种形状的底片,则可获得处处清晰的像。此时在理想像平面上,像点呈现为圆斑。 第一张图是最简单也是最容易理解的场曲,也就是对焦点锐利,其余部分逐渐松散,但实际上大多现代镜头的场曲都呈现为图二的形态:对焦点与边缘锐度.

camerall 1万+

Apache ServiceComb 社区3月动态精选

春风十里,不如你~点击蓝字,关注我们~tánɡ棠lí梨jiān煎xuě雪青鲤来时遥闻春溪声声碎嗅得手植棠梨初发轻黄蕊待小暑悄过 新梨渐垂来邀东邻女伴撷果缓缓归旧岁采得枝头...

微服务技术与实践专栏 1462

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Apache ServiceComb 社区5月动态精选

点击蓝字关注我们或许我可用夏日把你来比方,但你比夏日更可爱也更温良。夏风狂作常摧落五月的娇蕊,夏季的期限也未免还不太长。......只要人眼能看,人口能呼吸,我诗必长存,...

微服务技术与实践专栏 318

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Apache ServiceComb社区常见问题解答问答精选(第一期)

Q:用Postman测试接口可以调通过,swagger-ui页面测试我的接口经常出现 connect: connection timed out. A:确认下frontend跟你的应用网络是否通,servicecomb的swagger-ui现在是proxy模式,不是直连   Q:准备使用servercomb,下载了center和demo项目,demo项目一直提示 ERROR 9868...

ServiceComb的博客 3865

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

[里程碑]1.0.0版本正式发布——Apache ServiceComb(incubating)

近日,正在Apache基金会孵化项目—微服务解决方案Apache ServiceComb(incubating) 的1.0.0版本通过社区投票,正式发布。这次发版的项目包括 Apache ServiceComb Java-Chassis (以下简称 Java-chassis)以及Apache ServiceComb ServiceCenter (以下简称ServiceCenter)。        ServiceComb从2017年12月进入Apache基金会孵化至今半年时间内,一步一个脚印,于2018年

ServiceComb的博客 579

ServiceComb Java Chassis 快速入门和复杂系统实践经验总结

快速搭建一个典型的微服务应用 项目介绍 示例微服务应用由 4 个微服务组成。 应用网关:负责接收前端的请求,并将请求转发给后端服务处理。应用网关还负责简单的认证功能。 文件服务: 提供一个上传文件接口,和删除文件接口。 用户管理: 提供登录认证逻辑实现。 静态页面托管 HTML/JS/CSS等。 本地微服务引擎本是CSE 微服务引擎的简化版本,用于本地开发调试。它包含3个服务。 服务中心:负责服务注册和发现。 配置中心:负责集中配置管理。 控制台:提供前端管理界面。 安装...

微服务技术与实践专栏 2581

Apache ServiceComb(incubating) 第一个版本发布

\看新闻很累?看技术新闻更累?试试下载InfoQ手机客户端,每天上下班路上听新闻,有趣还有料!\\\开源的微服务解决方案ServiceComb 于去年12月进入Apache软件基金会孵化,并于4月3日在Apache官网上的新闻版块正式通告Apache ServiceComb (incubating) 发布 Java-Chassis 1.0.0-m1、Service-Center 1.0.0-m1,...

weixin_34166847的博客 89

微服务框架解决的那些被开发人员忽视的问题

容器、Mesher(Istio等)、微服务共同构成了弹性软件架构的基础。围绕弹性软件架构的技术创新层出不穷。通过识别这些技术的边界,能够帮助开发者更好的进行技术选型,更好...

Docker的专栏 618

华为云PaaS平台微服务治理3微服务引擎CSE

3微服务引擎CSE 3.1华为云PaaS平台介绍 华为云PaaS平台以华为FusionStage2.0项目为基础,基于Docker、Kubernetes等主流开源容器项目,提供了开 发、测试、部署、运维的全流程自动化流水线能力,提供先进的微服务框架和丰富的服务组件,致力于让开发者专 注于代码开发本身,提升开发效率,支持丰富的应用生态,推动企业更好的云化转型。 什么是PaaS? PaaS是云计算...

kai46385076的专栏 4925
上一篇: 【性能测试】压榨一下ServiceComb
下一篇: ServiceComb/CSE和Spring Cloud技术栈对比
looook
博客等级 码龄20年 145粉丝 195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值