这样的高可用,我不要!

什么是高可用?高可用介绍: 前言: 高可用(High availability,即 HA)的主要目的是为了保障「业务的连续性」,即在用户眼里,业务永远是正常(或者说基本正常)对外提供服务的。高可用主要是针对架构而言,那么要做好高可用,就要首先设计好架构,第一步我们一般会采用分层的思想将一个庞大的 IT 系统拆分成为应用层,中间件,数据存储层等独立的层,每一层再拆分成为更细粒度的组件,第二步就是让每个组件对外提供服务,毕竟每个组件都不是孤立存在的,都需要互相协作,对外提供服务才有意义。 要保证架构的高可用,就要保证架构中所有组件以及其对 阅读详情

前不久,朋友的公司,出现了比较大的故障。故障引起的原因也比较好解释,因为使用了ActiveMQ的高可用级别(M-S架构,双写完成ACK),结果在高峰期间,造成了生产端消息拥堵,诸多请求无法落地,数据错乱。

 

一、背景

据他说,他们的应用,级别比电信应用还要高(牛皮一定要吹),所以消息系统要求一条消息都不能丢。他做到了,但是服务不能用了。

这个Case有何而来呢?据说是来自一次高管会议上,某位领导对其中的一个小问题情绪激动:他测试环境测试的某条数据,直接不见了,生产环境并未复现。矛头最终指向了消息系统,直接上升到断电后怎么办云云。

领导发威,事情要特事特办。架构组扯蛋似的熬夜讨论了改进的方案,从Kafka到RocketMQ,从落盘DB到升级到StoreHA方案,不亦乐乎。最终的讨论结果,就是采用极高可用的方式。领导的条件满足了,消息系统也是高可用的,但整个业务不是。最终的MQ吞吐量,连个DB都不如。

典型的枪杆子需求引起的优化故障。一定不少见。

二、思考

高可用是个伪命题,虽然有CAP等耳熟能详的理论支持,还是有很多人陷入了这个误区,包括技术决策人。架构作为全局把控人,能出现这样的错误,纯属低级。下面,是我自己对高可用的一点思考。

1、高可用不是组件高可用,是业务高可用。

拿消息队列来说,并不是说保证消息队列的存活和消息的可靠,就完成了工作。还需要考虑生产端和消费端的拓扑和高可用。比如,生产端异常关闭,缓冲区的处理,低吞吐环境下的消息过盛处理;消费端的消息积压, 以及死信处理。

你要是没有提前对业务进行容量分析,也没有相应的扩容手段,更没有对容易发生问题的环节进行监控,那么锅就是你的,没得跑。

2、业务先能用,然后讲可靠

业务都跑不下去了,你的服务端组件无论多么的可靠,也是废物。拿秒杀系统来说,你不会要求它先可靠的落地,反而会用一些次可靠的缓存系统进行缓冲,此所谓可用。只有保证了业务的正常流转,才能谈可靠性。

3、主要流程不能阻断,可靠性降级

这就是大家常说的熔断。比如一个收银系统,不会等着你的后台真正处理了各种记账逻辑才会返回成功。它的主要目的就是收款,先让你把钱花出去再说,你不能因为一个消息发送失败,就要求支付也一块失败。这个时候,消息就作为一个旁路应用存在,必须设置合理的超时,以至熔断。

再比如放在事务中的一些高耗时操作,都是要命的玩法。

4、不能玩就限流,别硬撑

限流就是让用户在最外层就阻断,不让请求进来。用户虽然会看到失败的请求,但不会产生危害性的请求(逻辑交错执行的数据错乱)。撑不住就承认算了,请求导到后台,搞死了某个基础组件,更严重。

5、数据不能丢,我还能找回来

分布式系统谈的最多的就是最终一致性,但鲜有人知,最终一致性包括人工环节,甚至客服的介入。一般,产生异常数据的概率还是比较小的,人工可以处理过来。另外,还有其他优化手段:

格式化的详尽日志,能够根据日志恢复

幂等业务,请求保证at least once语义

通过扫描,重试等手段,进行异常数据处理

6、别把高可用挂在嘴上,那很sb

谈高可用很牛逼么?并不见得。你要能分析提出方的品性和认知能力,分析各种技术手段的后果。并不是谁的权利大谁的观点就正确 ,很多领导挥舞完大棒,脑子里就已经忘掉了2/3,不是本质问题不用关心。

分布式系统是个复杂的整体,不要以偏概全,搞定了某个组件并不等于搞定真个系统。领导会认为这样,你不能。

三、End

一些反例总能引起有益的思考。分析身边的需求,哪些是枪杆子需求,哪些是传话筒需求,都可以说不,坚持自己的专业认知!如果你不知道怎么说,可以把小姐姐味道这篇文章转给他,让他瞧瞧后果。

hadoop高可用集群最详细原理讲解! 前面给大家讲解过hadoop集群的搭建和zookeeper集群的搭建,今天就给大家讲解下基于zookeerper如何实现hadoop高可用集群搭建! Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂,下面给大家详细讲解下如何实现HDFS 高可用和YARN高可用。 HDFS 高可用 Active Nam 阅读详情

相关推荐

超详细!带你学习高可用集群keepalived

官网:vrrp协议的软件实现,原生设计目的为了高可用ipvs服务功能:基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则在配置文件中预先定义为ipvs集群的各RS做健康状态检测基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginxhaproxy等服务vrrp_script <SCRIPT_NAME> { # 定义一个检测脚本,在 global_defs 之外配置。

2201_75769266的博客 929

DRBD-MYSQL分布式块设备实现高可用

DRBD-MYSQL分布式块设备实现高可用一、介绍DRBD:DRBD是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。 DRBD Logo数据镜像:实时、透明、同步(所有服务器都成功后返回)、异步(本地服务器成功后返回)。DBRD的核心功能通过Linux的内核实现,最接近系统的IO栈,但它不能神奇地添加上层的功能比如检测到EXT3文件系统的崩溃。DB...

weixin_33701617的博客 312

Hadoop高可用集群,基于Zookeeper集群详细搭建流程!

上次给大家讲过搭建hadoop高可用集群的具体思路,今天就开始正式根据思路搭建。 搭建前准备 1.官方地址:http://hadoop.apache.org/ 2.HDFS 高可用集群规划,请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成,以3台机为例。 3.先在一台机hadoop2上配置文件信息 进入文件夹下的配置文件目录下 cd /opt/soft/hadoop260/etc/hadoop/ 3.在 hadoop2 配置 core-site.xml vi core-si

zp17834994071的博客 2407

什么是高可用,如何实现高可用

高可用HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。

谢小鱼的博客 3135

手把手解决AutoDock安装那些坑:从autogrid报错到.map文件生成(Win10/11环境)

本文详细解析了在Win10/11环境下安装AutoDock时遇到的常见问题,特别是autogrid报错和.map文件生成失败的情况。通过实战验证的解决方案,包括环境变量设置、Python版本管理、文件权限调整等,帮助用户顺利完成安装并提升分子对接研究效率。

weixin_42548888的博客 200

避坑指南:LVGL在Arduino环境编译报错?3步搞定lv_conf.h路径问题(附ST7789屏幕调试技巧)

本文详细解析了在Arduino环境中配置LVGL图形库时,如何解决常见的“lv_conf.h file not found”编译报错问题。通过三步法:定位并复制模板文件、启用核心配置并指定路径、配置基础参数,从根本上解决路径问题。文章还结合ST7789屏幕驱动,分享了使用TFT_eSPI库进行显示适配、内存优化及背光控制等实战调试技巧,帮助开发者建立清晰、可维护的嵌入式UI工程基础。

lake5的博客 860

为什么不要依赖MySQL高可用性进行维护

让我们先来谈谈可用性。如果一个服务(如数据库)在大多数时间内对用户是不可用的,那么运行它就没什么意义了。因此当我们谈论可用性时,我们是指服务的可访问程度。对于任何正常运行的服务,人们有理由期待它总是在被需要时是可用的 - 但是也会有一些停机时间,一年中有一两天,或者每月有几个小时。一个普遍的可用的服务对于许多用例场景来说可能是很好的,但是如果服务本质上是至关重要的,或者大量用户依赖与一个服务,仅仅依靠「可用性」是不够的。这就是高可用性的意义所在。

qq_29701691的博客 391

LTspice基础教程-028.Timestep too small

Q: “Timestep too small” error message A: If the LTspice program can’t find a solution for the guessed time step, then the program decreases the time step and tries again. This can’t work forever. If...

gaoyong_wang的博客 2万+

K8S基于 NFS 动态存储部署高可用 Discuz! 论坛-基础篇

配置discuz-nginx-configmap.yaml 文件。数据库用户名:root。数据库密码:1234。

natureboy1974的博客 1530

MATLAB机械臂轨迹规划:在关节空间中生成多项式轨迹以及 jtraj函数(内容超详细讲解)

matlab机器人仿真,关节空间多项式轨迹生成

qq_40969179的博客 1万+

vmware虚拟机网络连接问题

主机:ubuntu14.04 Vitual Network Editor

入门虽易,精通不易,且学且珍惜! 1355

这样的高可用,不能用!

  前不久,朋友的公司,出现了比较大的故障。故障引起的原因也比较好解释,因为使用了ActiveMQ的高可用级别(M-S架构,双写完成ACK),结果在高峰期间,造成了生产端消息拥堵,诸多请求无法落地,数据错乱。      据他说,他们的应用,级别比电信应用还要高(牛皮一定要吹),所以消息系统要求一条消息都不能丢。他做到了,但是服务不能用了。   这个Case有何而来呢?据说是来自一次高管会议上...

qianfeng_dashuju的博客 155

从亚稳态到稳定传输:深入解析CDC跨时钟域同步的核心技术与设计实践

本文深入解析了CDC(跨时钟域同步)技术的核心问题与解决方案,重点探讨了亚稳态现象及其危害,详细介绍了同步器设计、MTBF计算方法以及单bit和多bit信号同步的实战技巧。通过Verilog代码示例和工程实践案例,帮助读者掌握从亚稳态到稳定传输的关键技术,提升数字电路设计的可靠性。

weixin_32822843的博客 248

什么是高可用

  一、什么是高可用   高可用HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。 假设系统一直能够提供服务,我们说系统的可用性是100%。 如果系统每运行100个时间单位,会有1个时间单位无法提供服务,我们说系统的可用性是99%。 很多公司的高可用目标是4个9,也就是99.99%,这就意味着,系统的年停...

徐冉的博客 9628

跟着团子学SAP PS:WBS BOM的实际应用价值 CS71/CKW1/CKW4

过往在参与很多项目实施的时候有很多顾问都会提到WBS BOM是否要启用,但仔细聊下来会发现大部分人对WBS BOM的真正功能以及实际应用场景并不是非常了解,因为WBS BOM的实际应用场景非常有限,大部分情况下基本都可以不用考虑启用WBS BOM。 WBS BOM和普通BOM的核心区别是多了一个WBS元素编码的维度,也就是说同一个成品料号可以基于不同WBS元素编码设计不同的BOM主数据。 所以从本质而言WBS BOM真正解决的问题只是减少成品物料的物料编码,比如一个项目中生产2个同型号的控制柜,但两个控制柜

Lucas1211的博客 6308

常见js手撕题及算法总结

设计一个lazyMan,实现以下功能: LazyMan(‘Tony’); // Hi I am Tony LazyMan(‘Tony’).sleep(10).eat(‘lunch’); // Hi I am Tony // 等待了10秒… // I am eating lunch LazyMan(‘Tony’).eat(‘lunch’).sleep(10).eat(‘dinner’); // H...

没有名字适合我的博客 3177

Discuz! X5 高性能+高可用

本文介绍了基于阿里云ECS服务器的高可用Web项目部署方案。采用5台服务器构建集群架构,包含前端网关、应用节点和数据层。技术栈涵盖Nginx+Keepalived高可用、MySQL集群(MHA/MGR)、Redis缓存、Memcached页面缓存等。重点展示了多级缓存流程设计,通过Nginx+Memcached一级缓存拦截99%请求,PHP+Redis二级缓存处理动态数据。项目采用裸金属服务器部署,不使用阿里云托管负载均衡服务,适合学习实践。整体成本控制在107元(含1台包年ECS+4台按量服务器+域名),

feng68_的博客 602

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

【玩转腾讯云】如何构建云端高可用架构!

作者介绍万守兵:腾讯云行业架构师,对云上双活架构、迁移方案有比较深的了解,现主要负责腾讯云泛互行业TOP级客户的解决方案架构工作。 高可用挑战 1. 高可用挑战:时间要求 2. 高...

云存储小天使的博客 839

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

K8S 基于 NFS 动态存储部署高可用 Discuz! 论坛-高级篇

相关服务(Web、MySQL、Redis)启用 Sidecar,使 Istio 能够监控流量。配置discuz-nginx-configmap.yaml 文件。在 Kiali 控制台左侧导航栏选择。记录 NodePort 端口(如。访问 Discuz!创建以下YAML文件并保存为。添加redis后的完整配置文件。(默认凭据,生产环境需修改),Namespace 选择。数据库用户名:root。),生成实际请求流量。数据库密码:1234。

natureboy1974的博客 1835

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

hadoop高可用搭建及mapreduce高可用配置

本次实验在Hadoop伪分布式的基础上完成,需要准备四台虚拟机(这里作者的主机名依次为w202235532,w202235533,w202235534,w202235535),选择其中一台搭建好伪分布即可。

Jay476180652的博客 2905

速看!Celery集群高可用构建攻略

本文围绕 Celery 高可用集群构建与故障恢复策略展开。先介绍 Celery 是分布式任务队列系统,由生产者、队列和消费者组成,在 Web、大数据等场景应用广泛。指出单一实例有性能瓶颈、容错性差等局限,而高可用集群能实现负载均衡、增强容错性和扩展性。构建方案包括准备软硬件环境,对消息代理和节点进行高可用配置,设置负载均衡器。故障检测从硬件、系统和应用层面进行,可借助 Prometheus 等工具。恢复策略涵盖节点和消息代理故障恢复,同时要保障数据一致性,以确保系统稳定运行。

沛哥儿的专栏 1323
上一篇: 常见的 SQL 避坑指南!
下一篇: 新手程序员经常犯的10个错,别不服!
加班不秃顶
博客等级 码龄7年 1822粉丝 599原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值