MatrixOne混沌测试之道

Chaos Testing (混沌测试)详解 本文将结合Chaos Testing(混沌测试)的各方面的内容对Chaos Testing(混沌测试)进行相对详细的讲解,相信对您进一步了解Chaos Testing (混沌测试)会有所帮助❤~ 阅读详情

导读

近年来,向云原生迁移和采取分布式架构/设计方法来创建云原生应用是当今大势所趋,而且这种趋势还在进一步加快。这其中最重要的驱动因素,莫过于可以大幅度的减少应用的停机时间、高弹性、资源高利用率等,从而增加更多的业务价值。

然而,这种架构无疑给软件测试带来了新的挑战,当涉及到测试云原生/分布式应用系统时,与人们用来测试其他应用系统(如单片机)的传统方法相比,事情就会变得复杂起来。应用程序往往以微服务的方式更加动态、分布式式的、更快的速度发布,并且存在难以预测和跟踪的故障模式。而传统的测试技术,在覆盖此类的问题时,便会捉襟见肘,于是关于一种看似新的测试物种-混沌测试,应运而生。随之,和混沌测试相关的测试概念、理论以及技术工具也越来越多的被提及、探讨以及实现。

那么,到底什么是混沌测试,混沌测试又能解决哪些问题,又该如何开展呢?当前并无权威的答案,而且可能永远也不会有一个放之四海而皆准的标准。众所周知,MatrixOne数据库先天具备云原生和分布式的所有优势,自然对混沌测试也有着强需求,今天的文章,是从理论/方法论的层面,分享MatrixOne测试团队开展混沌测试的全局画布,主要围绕以下几点展开:

•如何理解混沌测试?

•如何开展混沌测试?

•如何评估混沌测试?

本文字数:3300字+

阅读时间:8分钟+


Part 1

如何理解混沌测试?

业界对于混沌测试,归纳起来,一般又称为故障演练,是一种可试验的、基于故障模拟和注入的方法来处理大规模分布式系统中的混乱问题。但是,混沌测试与其他的测试类型又有着本质的区别,不局限于测试,而更像是工程实践。

一般来说,不同的行业,不同的产品特点,对于软件测试的分类标准和开展需求都有所差别,但是总结起来,却又大同小异。在此,先分享一下MO测试团队为了更好的开展和管理产品测试而对测试进行的划分标准。

你会发现,混沌测试似乎无法被定位到任何测试类型,或者说和任何测试类型都有关联,却又都不尽如此。此处,借用朱少民教授给“软件测试”的定义的公式来阐述MO测试团队对于混沌测试的定义:

测试 = 检测已知的 + 试验未知的

  • “已知” 指测试目标、测试需求和测试的验证准则等都明确,具有良好的可测性。

  • “未知” 指测试目标、测试需求和测试的验证准则等不明确,很难直接进行验证,需要通过不断地试验,才能知道所实现的功能特性是否正确。

通俗点讲,“已知”就是在人力之内,而“未知”则是在人力之外,而且很严然,上图中的所有测试,均是针对“已知”项开展的,而混沌测试针对的就是这些“未知”项,并且,我们认为,对于这些“未知”的考虑,需要遵循如下一些原则:

  1. “未知”可能存在于任何测试维度,发生在任何测试阶段,隐藏在任何测试对象和测试手段中;

  2. “未知”的范围也是有界的,它包含的只是团队关注的、但是通过人力又无法有效解决的质量要素;

  3. “未知”也应该而且必须要能够被评估、度量,否则任何针对其开展的测试都将毫无意义,只是这种衡量的标准可以是模糊的,范围的,或者渐进明细的;

  4. “未知”试验的开展,必须要借助工具,或者由一系列工具支撑的工程化实践来完成;

  5. 随着针对“未知”试验的开展,会有越来越多的“未知”项变成“已知”项。

我们可以通过下图来进一步理解混沌测试:

因此,在MO的测试体系中,让当前产品关注的质量要素可被更多的感知、管理和评估的所有测试努力,都属于混沌测试。混沌测试并不是什么新的测试技术、或者颠覆性的测试理念,它依旧需要遵循软件测试的本质,那就是为产品的商业活动提供质量信息和信心,所以,混沌测试的终级目标就是让“混沌”变得“不混沌”


Part 2

如何开展混沌测试?

通过之前阐述,混沌测试需要解决的是“未知”问题,那么对于混沌测试的开展的首要前提,就是如何能够更好的去发现这些“未知”项,对于此点,业界也基本是共识的,总结起来,就是4个字:故障注入。

而且,当前对于混沌测试的研究,大部分也都聚焦在如何更好的实现故障注入的工具能力层面,比如:

  1. Chaos Monkey,NetFlix公司开发的一套用来测试服务器稳定性的测试工具,核心思路是故意把服务器搞下线,然后可以测试云环境的恢复能力;

  2. Chaos Mesh, PingCAP公司的一个开源云原生混沌工程平台,提供丰富的故障模拟类型,具有强大的故障场景编排能力;

  3. ChaosBlade,阿里巴巴开源的一款遵循混沌工程实验原理,提供丰富故障场景实现,帮助分布式系统提升容错性和可恢复性的混沌工程工具,可实现底层故障的注入。

这些都是目前可用的非常优秀的故障注入工具,而且在业界混沌测试中也有着较高的普及度,然而,只解决故障注入是远远不够的,工具只是支撑,要想更好的开展混沌测试,更需要工程化的思维来设计和布局混沌测试。经过反复多次的试验,MO测试团队混沌测试的架构图,如下图所示:

 

核心模块:

01

故障注入行为

通过故障注入工具完成,目的就是为了尽可能的识别和发现被测试系统中潜在的“未知”问题触发因素。对于故障注入,可以是纯粹随机的,也可以基于一定的故障注入策略。通过我们的实践证明,根据预定义的策略来注入故障,更有利于开展测试,因为在混沌测试执行中,需要通过策略来控制最小爆炸半径。

当然,故障注入策略的定义,往往跟当前混沌测试的重点有关,此处再次说明,混沌测试也是有界的,有目的性的,不是纯盲目性的行为,比如,如果想验证网络丢包对于事务成功率的影响,就需要适当的调整故障注入策略,提升网络延迟故障的比例以及选择重点的故障注入点。

02

稳态模型定义

所谓的稳态模型,实际就是被测系统的有效状态。这个有效状态可以用被测对象必须被遵守的质量要素规则集合来描述。如:功能可用性必须满足r1、性能指标比如满足r2等等,那么稳态模型即可表示为:

M{r1,r2,......rn}

也就是说,无论在混沌测试中注入了哪些故障,执行了哪些测试,被测试系统都不能违背任何一条质量要素规则,即:

M{r1,r2,......rn} M{r1,r2,......rn}

 

对于稳态模型的定义,需要遵循如下一些原则:

  1. 质量要素的选取,依赖于产品测试本身需要覆盖的质量维度;

  2. 质量要素规则的描述,可以不是精确的,是基于范围的;

  3. 质量要素规则一定是可以根据测试结果计算得出;

  4. 质量要素规则尽可能是量化的表述,并可以通过工具进行比较;

  5. 质量要素规则依赖于产品能力和测试能力的成熟度,迭代式的进行优化。

03

真实事件模拟执行

测试事件的选择,依赖于稳态模型的定义,即,可以通过最终执行的测试事件结果,计算出稳态模型中各个质量要素的实际状态。

当然,测试事件的执行能够自动化,是混沌测试开展的必要前提,因此混沌测试的有效开展,是一定对测试能力成熟度有一定要求的,而且也会推动测试能力进一步的成熟。

04

行为日志记录

行为日志记录是很容易被忽略的核心要素。如之前所说,混沌测试即使发现了问题,也不能很明确的得知问题触发的因素是什么,而对于无法定位和解决的问题,等同于未知问题。

因此这就要求在混沌测试中,明确记录各种行为和信息,如故障注入点、故障恢复点、执行的测试项、资源使用情况等等,以便给最终定位和分析问题,提供足够多的素材。

05

逆向优化

通过混沌测试的结果,逆向优化测试用例集,以及进一步完善故障模式库,也是混沌测试的重要目的之一。

至于MatrixOne在混沌实践中,每个环节都是如何设计的,本次不做过多介绍,后续会有其他文章进一步分享。


Part 3

如何评估混沌测试

关于混合评估混沌测试成熟度,目前业界已经有一些探索,比如阿里的CMM模型,但是此模型有些过于复杂和理论化,MO测试团队基于此,定制了属于自己的一套评估模型,而整个混沌测试的开展和演进,也是在此模型的基础上进行的。

chaosblade混沌测试介绍 -exclude-port string 排除掉的端口,Exclude local ports. Support for configuring multiple ports, separated by commas or connector representing ranges, for example: 22,8000. This flag is invalid when --local-port or --remote-port is specified。 阅读详情

相关推荐

混沌测试ing&性能测试工具

1.mesh相关:https://pingcap.com/blog-cn/chaos-mesh/ 2.helm相关: https://helm.sh/

NeverSayNever 2747

混沌测试基础

混沌测试基础 混沌工程是一种可试验的、基于系统的方法来处理大规模分布式系统中的混乱问题。通过不断试验,了解系统的实际能承受的韧性边界并建立信心,通过不同的试验方法和目的,观察分布式系统的行为和反应。一句话——以试验的方法尽早揭露系统弱点。 混沌工程类似于“故障演练”,不局限于测试,而更像是工程实践。为什么这么说,通常的测试用例会有“期望结果”和“实际结果”,通过将两个结果比较,或者对用户行为的预期,来判断测试通过或失败。而混沌试验类似于”探索性测试“,试验本身没有明确是输入和预期结果,通过对系统和服务的干预

weixin_41924879的博客 2万+

【性能测试】ChaosTesting(混沌测试)&ChaosBlade(混沌实验工具)(四)-k8s容器混沌实验

kubernetes 节点 CPU 负载实验场景,同基础资源的 CPU 场景kubernetes 节点网络相关场景,同基础资源的网络场景kubernetes 节点进程相关场景,同基础资源的进程场景kubernetes 节点磁盘场景,包含磁盘填充和磁盘IO读写高kubernetes Pod 资源自身场景,比如删除 Podk8s pod文件系统I/O异常场景,可以模拟对指定路径上的文件读写异常,包括延迟,错误等.注意!!!

qxj2422640226的博客 2150

【性能测试】ChaosTesting(混沌测试)&ChaosBlade(混沌实验工具)(一)

创建混沌实验命令,每个实验对应一个uid,后续查询、销毁实验都要用到此uid,如果遗忘了uid,可以通过命令进行查询。create可以简写成c,即可以简写为blade cCPU相关的混沌实验包含CPU满载,可以指定核数、具体核满载或者总CPU负载百分比旨在CPU在特定的负载下,验证服务质量、监控告警、流量调度、弹性伸缩等能力load、fullload、fl命令都可以,即----执行命令----

qxj2422640226的博客 5061

【性能测试】ChaosTesting(混沌测试)&ChaosBlade(混沌实验工具)(五)-jvm混沌实验

挂载 java agent,执行 java 实验场景必要步骤jvm 本身相关场景,以及可以指定类,方法注入延迟、返回值、异常故障场景,也可以编写 groovy 和 java 脚本来实现复杂的场景。目前支持的场景如下[blade create jvm CodeCacheFilling](blade create jvm CodeCacheFilling.md) 填充 jvm code cache。

qxj2422640226的博客 2036

MatrixOne:实践混沌测试之道,构建分布式测试环境

MatrixOne是一个强大的开源混沌测试工具,它提供了一系列的混沌测试场景和实验,可以帮助开发人员发现系统中的潜在问题。在分布式环境中,MatrixOne可以通过模拟网络延迟、节点故障和资源瓶颈等情况,对整个系统的鲁棒性进行测试。在这个实验中,首先模拟了节点1和节点2之间的网络延迟为100毫秒,然后模拟了节点3上的一个服务进程被杀死,最后模拟了节点2到节点3之间的消息丢失率为10%。通过使用MatrixOne构建分布式混沌测试环境,开发人员可以更好地了解分布式系统的行为和鲁棒性,并发现潜在的问题。

LpmShell的博客 176

开源之夏2023 MatrixOne 项目结业啦

​开源之夏是由中国科学院软件研究所与 OpenEuler 社区共同主办的一项面向高校学生的暑期在线活动,旨在鼓励在校学生积极参与开源软件的开发维护,促进优秀开源软件社区的蓬勃发展。 在开源之夏 2023 年中,MatrixOne 一共有 2 个任务项目,最终全部顺利结项,并在开源之夏结业项目中进行展示:开源软件供应链点亮计划-开源之夏2023 [Link: https://summer-ospp.ac.cn/final] ​

MatrixOrigin的博客 696

新年美食鉴赏——基于注意力机制CBAM的美食101分类

新年美食鉴赏——基于注意力机制CBAM的美食101分类一、数据预处理1.数据集介绍2.读取标签3.统一命名4.整理图片路径5.划分训练集与验证集6.定义美食数据集二、注意力机制1.简介2.卷积块注意力网络——CBAM通道注意力模块CAM空间注意力模块SAM3.将通道、空间注意力模块合并三、基于卷积块注意力模块的ResNet-CBAM1.代码实现2.模型测试3.查看网络结构4.模型训练5.模型预测四、总结与升华个人简介 春节是一年当中最隆重、最盛大的节日,吃得最好的一餐可能就是年夜饭了,想想就很激动呢!随着新

zbp_12138的博客 1万+

墨天轮国产数据库沙龙 | 四维纵横姚延栋 :MatrixDB,All-in-One高性能时序数据库

在墨天轮社区举办的第三期“时序数据库专场”活动中,北京四维纵横数据有限公司创始人姚延栋老师分享了《MatrixDB,All-in-One高性能时序数据库》主题演讲,本文为整理内容。

Era666的博客 3408

MATLAB对pcap文件抓包的读取

应用范围 常用的雷达信号,无线网通信信号的格式大多为pcap、wj文件,这里记录一下MATLAB读取pcap文件的方法,具体处理过程及读取协议针对不同的雷达有不同的处理方式,在这里不做说明。 程序 clc;clear;close all; %% 文件位置 filename= 'E:\File\JOB\JOB_1\data.pcap'; fid = fopen(filename,'r'); % 打开包 tmpPack = fread(fid,1350); % 只读前1350个数 读到

诗酒趁年华的博客 3582

昇腾Atlas Duo 300I推理卡实战:从零部署Qwen大模型推理服务

本文详细记录了在华为昇腾Atlas Duo 300I推理卡上,从零部署Qwen1.5-14B-Chat大模型推理服务的完整实战过程。涵盖环境准备、MindIE容器配置、CANN工具链安装、服务启动与API测试等关键步骤,并分享了性能观察与排错经验,为国产AI算力平台部署LLM推理服务提供了实用指南。

weixin_29084231的博客 1247

混沌测试介绍

创建一个实验文件},],混沌测试是一种有效的方法,通过故意引入故障来测试系统的弹性和鲁棒性。在实践中,通过定义清晰的稳定性指标、设定合理的假设、使用合适的工具和逐步引入故障,可以有效地提高系统的稳定性和可靠性。

lldhsds的专栏 1865

EMC(6)——电磁场的屏蔽

假如,机箱没有开口缝隙,比如篮球这种壳体,屏蔽效能都能达到100dB,100dB,基本上把电磁场强度能衰减万倍的关系,所以,这种方式屏蔽效能非常高。一般,钣金机箱,缝隙很大,大家目视就可以看到,铝铣的机箱,比较平整,但实际情况,表面其实也是坑坑洼洼,只是,大家肉眼看不出来而已!这种安装方式,是直接在缝隙增加导电材料,存在一个问题,就是,手法温柔点,压缩度会不够,手法粗暴点,过度压缩。所以,不是说,用金属机箱就能起到屏蔽效果,重要的是,要做好机箱孔缝电磁兼容设计,否则,是金属机箱,也是摆设。

qq_39825125的博客 2182

混沌测试工具chaosblade介绍及常用命令汇总

一、什么是混沌测试 类似于“故障演练”,通过构造各类异常,验证系统在碰到这些异常时是否有做好对应的监控告警、预案处理,针对性地进行加固,防范,从而避免故障发生时所带来的严重后果。通过对各类异常提前做好监控告警和预案处理,增强系统的健壮性,增强分布式系统的信心。 ChaosBlade 是阿里巴巴开源的一款遵循混沌工程原理和混沌实验模型的实验注入工具,帮助企业提升分布式系统的容错能力。

程序员小杨哥的博客 2万+

PayPal支付集成完全指南:开源库实践

本文介绍了如何从零开始集成PayPal支付功能。首先概述了PayPal提供的多语言SDK和开源库,包括PHP、Python、Node.js等版本。然后详细说明了准备工作,包括注册开发者账号、获取API凭证和使用沙盒环境测试。文章以Node.js为例,演示了安装SDK、基础配置和实现支付流程的完整代码,包括创建订单和捕获支付两个核心功能。最后提及了订阅支付等高级功能,为开发者提供了完整的支付集成方案。通过清晰的代码示例和步骤说明,帮助开发者快速实现PayPal支付功能集成。

2501_93501927的博客 1261

从DeepMimic到虚拟偶像:用动作捕捉数据训练AI跳舞的完整流程(附Blender插件配置)

本文详细介绍了如何利用DeepMimic的深度强化学习框架,将动作捕捉数据转化为虚拟偶像或游戏角色的舞蹈动作。从核心的模仿学习理念、PyBullet环境搭建、策略网络与奖励函数设计,到数据处理、训练技巧(如参考状态初始化),最后讲解了如何将训练好的AI模型集成到Blender和Unity等工具中,实现从数据到实时驱动角色的完整流程。

weixin_29054399的博客 505

混沌测试-chaos

ChaosBlade 支持目前主流的故障注入场景,相对其他几个故障注入工具,ChaosBlade 故障注入覆盖的场景最全,支持四大类、几十种常用的故障注入能力,且提供了统一的 CLI 交互界面,学习成本相对较低,其技术栈与我行分布式体系和云计算体系兼容性也较好。图 1 ChaoBlade 故障注入能力因此,ChaosBlade 各方面基本满足我行技术体系的需求。

Jianyong_zhao的博客 1617

STM32cubeMX配置FreeRTOS软件定时器

文章目录前言1.软件定时器概述一.软件定时器特性二、使用cubeMX生成软件定时器总结 前言 本文主要带大家了解什么是软件定时器,并且带大家使用cubeMX配置软件定时器。 1.软件定时器概述 一.软件定时器特性 软件定时器就是一个闹钟当时间到了就执行相对应的任务或者代码。软件定时器是基于系统滴答中断的。在FreeRTOS中我们可以设置无数个软件定时器。 指定时间:启动定时器和运行回调函数,两者的间隔被称为定时器的周期 (period)。 指定类型定时器有两种类型: 1.一次性 这类定时器启动后,它的回调函

m0_49476241的博客 6952

什么是混沌测试

混沌测试是一种用来评估系统的稳定性和可预测性的方法。它通过对系统进行小幅度的扰动来观察系统的响应,从而评估系统的混沌程度。通常使用数学工具,如阶跃回归和动力学系统分析来实现。 ...

weixin_35756892的博客 1185

工业视觉实战:用摄像头+AI高精度测量钢板尺寸(附深度分析)

摘要: 钢铁制造业正加速采用基于摄像头与深度学习的视觉测量技术,以取代传统人工测量,实现钢板长、宽、高(厚)的非接触、高精度在线检测。核心方案包括单目视觉(低成本但受限于变形)、双目/多目立体视觉(可精确测量变形钢板)及3D激光扫描(微米级精度)。系统精度受硬件(相机分辨率、镜头)、算法(亚像素技术)及环境稳定性共同影响,综合精度可达±0.1mm。实战中需重点解决热膨胀(需红外测温实时补偿)和钢板变形(必须采用三维方案)两大挑战,并通过工程化设计(散热、防振)确保系统可靠运行。该技术需融合光学、机械与算法,

数字人生 392

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

什么是计算机软件测试中的混沌测试

总体来看,混沌测试通过模拟实际运行中的各种非预期事件,帮助系统识别并修复潜在的漏洞,进而提升系统的鲁棒性和可用性。在这复杂的分布式计算环境下,为了确保高性能和稳定性,混沌测试越来越被视为一种必不可少的手段。从 Netflix 的成功经验和各大互联网公司广泛应用来看,混沌测试不仅是一种创新的测试方法,更是一种全新的思维方式。它不仅关注系统在正常运行下的表现,还深入探索在极端环境下的表现,从而构建更加健壮和可靠的系统。

孔乙己的博客 1498

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Chaos Testing和传统测试有何不同?

Chaos Testing和传统测试有何不同? Chaos Testing(混沌测试)和传统测试方法在目标、方法和应用场景等方面都存在一些重要的区别。 相对之下,Chaos Testing是一种更加注重系统鲁棒性和可靠性的测试方法,它致力于评估系统在面对混沌和不确定性时的表现。传统测试方法则更着重于验证系统在受控条件下的功能和性能。在一些大规模、分布式、弹性要求高的系统中,引入混沌测试可以更全面地评估系统的真实可靠性。

m0_48271910的博客 553

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

混沌测试(Chaos Testing/Chaos Engineering)

混沌测试 = 可控的 “搞破坏”,用小混乱换大稳定,让系统在意外面前更能扛。

wange6906的博客 455

chaosblade使用(十三):blade create network corrupt

可以指定网卡、本地端口、远程端口、目标 IP 包损坏。需要特别注意,如果不指定端口、ip 参数,而是整个网卡包损坏,切记要添加 --timeout 参数或者 --exclude-port 参数,前者是指定运行时间,自动停止销毁实验,后者是指定排除掉的延迟端口,两者都是防止机器无法连接的情况,如果真实发生此问题,重启机器即可恢复。本地端口和远程端口之间是或的关系,即这两个端口都会生效,只要指定了本地端口或者远程端口,无需指定需要排除的端口。

sre救赎之路 683

Chaos Testing (混沌测试)简介

Chaos Testing(混沌测试)是一种软件测试方法,旨在通过有目的地、有计划地引入系统中的混乱和不稳定因素,以测试系统在面对故障和不确定性时的稳定性、可恢复性和鲁棒性。这种测试方法有助于在生产环境之前或期间,识别和解决系统中可能存在的弱点,以确保系统在实际运行中能够正常工作。 除此之外,Chaos Testing(混沌测试)也被称为“Monkey Testing” ,原因由于它与传统的测试方法相比,更加随机和混乱,就像猴子一样,在系统上进行随机的、不可预测的破坏动作。

m0_48271910的博客 1321

测试——混沌工程详解

混沌工程的核心目的是通过引入故障,验证系统的韧性,并发现潜在问题,从而优化系统的可靠性和稳定性。

woshihlf的博客 3499
上一篇: 深入浅出数据库 parser
下一篇: 如何实现对象存储?
MatrixOrigin
博客等级 码龄5年 708粉丝 230原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值