基于ServiceComb的分布式运维思路

【教程】ServiceComb安装和配置 Apache ServiceComb 提供了融合开源生态的一站式微服务开源解决方案,致力于帮助企业、用户和开发者将应用轻松微服务化上云,实现对微服务应用的高效运维管理。 阅读详情

本文介绍一种不同于微服务架构下通常的运维方式,这种方式能够更加简单、经济的解决一些常见的运维问题。

举个例子。分析业务日志通常采用ELK方案,日志采集系统首先将微服务的日志集中,然后提供给搜索工具进行分析处理,最后通过界面呈现出来,这种方式是比较常见的集中式方式,集中式的好处是能够全局性的分析和处理数据。就错误定位这种场景,如果通过调用链等工具定界到具体的微服务,就不需要采集全局日志,只需要采集出错的微服务的日志即可。分布式运维的思路,就是让运维数据不进行集中存储,独立查询具体微服务运维数据的方法。

分布式运维相对于集中式运维有如下差异:

  • 分布式运维的所有数据都存储在微服务本地,不需要提供强大的分布式数据采集和分析工具,极大的减少用户运维成本。
  • 分布式运维适用于问题已经定界后的场景。
  • 分布式运维需要微服务自己提供运维数据查询接口,在微服务出现故障的时候,可能无法获取到运维数据;同时还需要考虑对于运维数据的访问,不能影响对业务接口的访问。

下面的章节中,介绍使用ServiceComb进行分布式运维的实践。进行分布式运维,需要采用弹性微服务架构:

 

本文涉及到的实际例子代码,请访问:

# ServiceComb-Samples
https://github.com/apache/servicecomb-samples/tree/master/porter_lightweight

# 本例子对应PR
https://github.com/apache/servicecomb-samples/pull/4

1 分布式日志查询

ServiceComb实现分布式日志查询,只需要在每个微服务实现日志文件列表查询、日志内容下载两个接口,下面是一个简单的示例。

@RestSchema(schemaId = "log")
@RequestMapping(path = "/v1/log")
public class LogEndpoint implements LogService {
 // protect your file in real applications
 private static final File LOG_DIR =
 new File(DynamicPropertyFactory.getInstance().getStringProperty("servicecomb.samples.logdir", ".").get());
 
 private static final String FILE_POST_FIX = ".log";
 
 @Override
 @GetMapping(path = "/getLogFileList")
 public List<String> getLogFileList() {
   File[] files = LOG_DIR.listFiles(new FileFilter() {
     @Override
     public boolean accept(File file) {
       return isLogFile(file);
     }
   });
 
   List<String> result = new ArrayList<>(files.length);
   for (int i = 0; i < files.length; i++) {
     result.add(files[i].getName());
   }
   return result;
 }
 
 @Override
 @GetMapping(path = "/getLogFileContent")
 public File getLogFileContent(@RequestParam(name = "fileName") String fileName) {
   File file = new File(LOG_DIR, fileName);
   if (isLogFile(file)) {
     return file;
   }
   return null;
 }
 
 private boolean isLogFile(File file) {
   return file.isFile() && file.canRead() && file.getName().endsWith(FILE_POST_FIX);
 }
}

 

可以将这个REST接口作为一个公共模块,所有的微服务都可以依赖使用。查询网关的所有日志文件列表:

http://localhost:9090/v1/log/getLogFileList

查询用户服务的所有日志文件列表:

http://localhost:9090/api/user-service/v1/log/getLogFileList

下载网关的日志文件:

http://localhost:9090/v1/log/getLogFileContent?fileName=access.log

下载用户服务的日志文件:

http://localhost:9090/api/user-service/v1/log/getLogFileContent?fileName=access.log

2 分布式契约管理

ServiceComb通过inspector提供了微服务契约管理能力。具体启用方式请参考:

# 使用inspector功能查看和管理契约
https://bbs.huaweicloud.com/blogs/f0eaa0095c2611e9bd5a7ca23e93a891 

目前这个版本的inspector的REST不会注册到服务中心,因此通过网关调用会提示找不到接口。所以为了演示分布式契约管理,将InspectorImpl的代码拷贝了一份,直接发布为REST接口,详细参考本案例的PR链接:

# 参考 InspectorEndpoint
https://github.com/apache/servicecomb-samples/pull/4

inspector的原理和分布式文件管理的原理一样,也是通过REST接口将相关能力开放出来,供开发者使用。

访问网关的契约管理界面:

http://localhost:9090/inspector/index.html

访问用户管理服务的契约管理界面:

http://localhost:9090/api/user-service/inspector/index.html

3 运维接口线程池隔离

为了让运维接口不影响业务接口的正常运行,一个好的策略是将运维接口放到独立的隔离仓里面运行,ServiceComb配置隔离仓非常容易。

首先定义一个executor

 <bean id="servicecomb.samples.executor.groupThreadPool" class="org.apache.servicecomb.core.executor.GroupExecutor"
 init-method="init"/>

 

给运维接口分配独立的executor即可。

servicecomb:
 executors:
   Provider:
     log: servicecomb.samples.executor.groupThreadPool
     inspector: servicecomb.samples.executor.groupThreadPool

建议开发者可以在运维接口的入口打上断点,观察下运维接口与实际业务接口在执行的过程中,所使用的线程池的差异。

4 后续工作

目前的ServiceComb版本还没支持通过网关查询具体某个实例的日志或者契约,需要在负载均衡策略方面进行调整,能够支持按照微服务实例ID进行路由。分布式运维是一个很广泛的课题,除了例子中给出的分布式日志查询、契约管理外,还可以开发非常多解决用户实际问题的功能。对于分布式运维,大家怎么看,可以在文章末尾留言,分享对于这种运维方式的看法,以及期望的分布式运维功能,这些见解和想法可以为ServiceComb启动分布式运维项目,提供一些用户输入。

微服务框架ServiceComb Service Center是ServiceComb生态系统中的一个服务注册与发现中心,它基于Apache ServiceComb提供可靠的服务管理。Service Center存储有关每个服务实例的详细信息,包括其状态、位置和可用性信息。服务消费者可以使用这些信息来找到并调用这些服务。如果你已经集成了ServiceComb和Spring Boot,可以使用Spring MVC的注解来创建RESTful API。在这个例子中,和是Spring MVC提供的注解,用于定义一个REST服务端点。 阅读详情

相关推荐

dtm-demo:dtm的demo集合:包括dtm原生demo,dubbo框架的dtm演示,servicecomb框架的dtm演示,springcloud华为框架的dtm演示

介绍 dtm演示,包括dtm起源,dtm-servicecomb,dtm-springcloud-hw dtm来源 dtm来源演示,包括无创交易和TCC交易 dtm-servicecomb 基于ServiceComb的dtm演示,包括无创交易 dtm-springcloud-hw 基于springcloud-huawei的dtm演示,包括无创交易 dtm-dubbo-servicecomb(正在更新) 基于Dubbo的dtm演示,包括无创交易

Javachaiss1.2.0新特性解读 |使用inspector功能查看和管理契约

点击上方蓝色字体,关注我们背景微服务在开发调试、上线运行时都可能发生各种问题。一旦发生问题,如果通过远程登录到主机上查看日志来定位问题会很麻烦,因此我们在servicec...

微服务技术与实践专栏 496

在Proteus中用80C51模拟4线SPI点亮OLED屏幕

在Proteus里用80C51模拟4线SPI控制OLED屏幕使其显示图案(汇编实现)。

Connor3093的博客 5005

如何基于ServiceComb做微服务能力开放

大量的微服务能力需要通过网关开放给用户、其他外部系统访问。网关一方面扮演着汇集用户请求的作用,同时还会扮演认证、鉴权、流量控制、防攻击的用途。同时,由于网关是一个汇聚点,容易形成业务的瓶颈,通常还会采用多级网关机制,最外层的网关提供主备以及简单的请求转发功能,中间层的实现鉴权等功能,多实例部署。常见的可以用于网关的技术和服务包括LVS、Nginx、Zuul等。 ServiceComb 也提供了自...

微服务技术与实践专栏 3799

思科模拟器汉化教程(附带中文汉化包)

思科模拟器是一种模拟Cisco网络设备的软件工具。它可以模拟Cisco网络设备的所有功能,包括路由器、交换机、防火墙等,并提供了一个可视化的用户界面,让用户可以通过图形化的方式来管理网络设备。思科模拟器因其便捷、易用的特点被广泛应用于网络工程师的实验、测试和培训等方面思科模拟器的功能是强大的,但当我们在使用思科模拟器的时候就会有一些烦恼,由于思科是全球最大的企业级网络设备供应商之一。思科公司的产品和服务被广泛应用于各种领域和行业,所以思科模拟器默认是全英文的,但是在最新版本中是支持中文的。

2302_76908369的博客 4万+

组态王7.5和SQLsever数据库交互

摘要:本文详细介绍了组态王7.5与SQL Server 2016数据库交互的实现流程,包括建立连接、数据存储与查询操作。主要内容涵盖ODBC数据源配置、数据库表格创建、数据插入及查询功能实现(含日期控件查询)

gsjkwg的博客 1583

ServiceComb微服务框架

华为提供的微服务解决方案:Service Comb

学习记录和总结 1万+

【maven】idea左侧External Libraries里,没有Maven的依赖包 代码飘红

文章目录1.概述M.参考 1.概述 因为内网开发,然后这几天我被隔离了,然后公司搞了一个外网的vpn能连接的云桌面,云桌面也是网络隔离的,因此只能自己拷贝相关的文件到里面。 然后我就拷贝了代码和maven仓库中的一部分,因为本地的20G一次拷贝不完,需要多次拷贝,但是我拷贝了kafka,仍然飘红。具体如下 idea左侧External Libraries里,没有Maven的依赖包 然后整了很久都没搞定,后来我自己新建了一个项目,然后引入发现是不可以的,而且框框里面的飘红。 然后我就想是不是因为缺少依赖

九师兄 4412

serviceComb的入门

华为的微服务:servicecomb的使用,做了个 小demo

小王的博客 4843

【Halcon-2D测量】add_metrology_object_rectangle2_measure 函数功能(用于向2D计量模型中添加旋转矩形(rectangle2类型)计量对象)

HALCON算子add_metrology_object_rectangle2_measure解析摘要 该算子是HALCON 2D计量模块的核心算子,用于添加旋转矩形计量对象并配置测量参数。主要功能包括:定义旋转矩形几何轮廓(中心坐标、主轴角度、长短半长);生成垂直于矩形边界的测量区域;设置边缘提取预处理参数(高斯平滑、振幅阈值)。关键注意事项:MeasureLength1必须小于矩形长短半长;角度参数Phi需使用弧度单位;多线程需同步模型句柄。该算子适用于方形螺母、PCB板边框等矩形零件的精密测量,需与a

weixin_45590420的博客 1225

微信小程序 - 真机调试请求异常 Provisional headers are shown,微信小程序开发者工具调试没问题就真机测试时出现请求报错(微信小程序请求接口提示Provisional h)

微信小程序开发 Request Headers: Provisional headers are shown,微信开发工具请求正常,真机调试和上线之后出现 Provisional headers are shown,微信小程序开发工具调试没问题,真机调试Provisional headers are shown,在开发工具调试,请求正常没问题,使用真机调试,请求异常,微信小程序真机调试时后台是本地服务器,显示“Provisional headers are shown”问题解决,微信小程序websocket

🏆 前端领域优质创作者 1万+

servicecomb-service-center简介

apache servicecomb-service-center简介

TSIYAO11的专栏 2161

搭建自己的MQTT服务器,实现设备上云(Ubuntu+EMQX)

这篇文章教大家在ECS云服务器上部署EMQX,搭建自己私有的MQTT服务器,配置EMQX实现设备上云,设备数据转发,存储;服务器我采用的华为云的ECS服务器,系统选择Ubuntu系统。

2万+

数字化转型中的“微”力量

在企业数字化转型的过程中,微服务架构、DevOps等铺平了企业的开发、运维之路。在6月19日-20日北京举行的LinuxCon + ContainerCon + CloudOpen 2017(简称LC3大会)上,华为正式发布了其功能完善的微服务框架ServiceComb,并贡献给社区。      用数字化的手段和工具改造传统的业务流程、应用方式,这件事我们很早就已

486

【GlobalMapper精品教程】006:Excel表格(.xls)或文本(.txt .csv)坐标文件生成矢量点

原始的坐标数据如下图所示,其中坐标为Lat经度,LNG纬度,均为十进制度的形式,一般软件都支持十进制度的格式,如果不支持,你可以尝试使用度分秒的形式,图中的DDMMSS-LAT为纬度,DDMMSS-LNG为经度。打开globalmapper软件,点击【打开数据文件】,选择坐标数据文件(案例中的数据位配套实验数据包中的data006.rar)气象台站分布点坐标.xls。选择坐标系:本案例数据采用的是经纬度,因此选择Geographic(Latitude/Longitude),基准选择WGS84,点击确定。

智慧空间实验室 2572

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

华为微服务应用平台的探索与实践

点击上面“蓝字”关注我们!2019QCon全球软件开发大会于10月17日-19日在上海举行,华为云应用管理与运维平台ServiceStage的负责人李勇军在华为云技术专场...

微服务技术与实践专栏 2647

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

java微服务案例分析_多云架构下,JAVA微服务技术选型实例解析

【摘要】本文介绍了基于开源自建和适配云厂商开发框架两种构建多云架构的思路,以及这些思路的优缺点。微服务生态微服务生态本质上是一种微服务架构模式的实现,包括微服务开发SDK,以及微服务基础设施。目前比较成熟的 JAVA 微服务生态包括 servicecomb(华为), spring-cloud (Pivotal), dubbo(阿里), tsf(腾讯)等。gRPC、Thrift 等也用于内部服务之间...

weixin_29325007的博客 185

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

java云技术架构_多云架构下,JAVA微服务技术选型实例解析

【摘要】本文介绍了基于开源自建和适配云厂商开发框架两种构建多云架构的思路,以及这些思路的优缺点。微服务生态微服务生态本质上是一种微服务架构模式的实现,包括微服务开发SDK,以及微服务基础设施。目前比较成熟的 JAVA 微服务生态包括 servicecomb(华为), spring-cloud (Pivotal), dubbo(阿里), tsf(腾讯)等。gRPC、Thrift 等也用于内部服务之...

weixin_33842969的博客 552

java 微服务框架对比_多云架构下,JAVA微服务技术选型实例解析

【摘要】 本文介绍了基于开源自建和适配云厂商开发框架两种构建多云架构的思路,以及这些思路的优缺点。微服务生态微服务生态本质上是一种微服务架构模式的实现,包括微服务开发SDK,以及微服务基础设施。目前比较成熟的 JAVA 微服务生态包括 servicecomb(华为), spring-cloud (Pivotal), dubbo(阿里), tsf(腾讯)等。gRPC、Thrift 等也用于内部服务之...

weixin_35995835的博客 520

云原生架构优化——架构改造迁移

微服务Apache Dubbo架构改造Spring Cloud架构,并迁移上华为云。

weixin_53439529的博客 902

鬼斧神工!阿里技术官发布这份微服务架构笔记,刷新了我的世界观

随着互联网对各个行业的深度渗透,它对行业的改变除了使行业有了新的业务形式,还有对业务更新节奏的提速。近两年在与处于各种不同行业的朋友的交流中,感受最深的一点就是“这世界变化太快了”。如果前两年这种“快”的影响还只在互联网领域,那么现在几乎所有的行业都已经被裹挟到这个浪潮中来了。而“微服务”便是在这样的大势之下应运而生,由前两年互联网公司的“玩具”转变为被更多企业级IT系统所接受和尝试东西。

m0_73311735的博客 90

初识ServiceComb

初识ServiceComb一、什么是ServiceComb二、ServiceComb的使用2.1 Service-Center注册中心2.2 搭建ServiceComb项目2.3 ServiceComb配置欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你

ShootingStar_1998的博客 2696

华为 ServiceComb框架

华为 ServiceComb框架 一、ServiceComb 概述 1.背景介绍 ServiceComb 作为Apache 开源组织下的一款微服务框架,其前身为华为云的 微服务引擎 CSE (Cloud Service Engine) 云服务。它意味着国内一款微服务框架在华为和Apache 组织的共同努力下, 随着微服务市场的火爆,一定会让越来越多的开发者所喜欢。 2.首要原则 全球首款进入Apache 的开源微服务项目,中立、开放、标准、无商业Lock-in 开源与商业代码同源,具备零成本平滑迁移商

Java_Pluto的博客 7763

ServiceComb场景及其原理

ServiceComb中是实现RPC的框架类似Dubbo,又称Java底座。通过的方式导入ServiceComb的核心Bean定义文件,注入如下Bean定义。ConfigurationSpringInitializerCseApplicationListener,ContextRefreshedEvent事件监听器初始化相关的连接 ContextRefreshedEvent Bean实例化完事件触达,初始化ServiceComb引擎SCBEngine org.apache.servicecom

一个菜鸟的博客 2376

【ServiceComb】扎实做微服务,认真做开源

5问ServiceComb微服务 ServiceComb 是谁?ServiceComb取名寓意蜂巢,是微服务开源项目,Apache软件基金会孵化项目,其源自Servic...

微服务技术与实践专栏 866
上一篇: Apache ServiceComb 社区4月动态精选
下一篇: TooLongFrameException,message:An HTTP line is larger than 4096 bytes.
looook
博客等级 码龄20年 145粉丝 195原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值