【大咖秀】博睿数据眼中的AIOps,选择正确的赛道正确的人

十年磨一剑:蚂蚁集团可观测性平台 AntMonitor 十年磨一剑:蚂蚁集团可观测性平台 AntMonitor 揭秘 2022-05-20 13:55·JAVA互联搬砖工人 蚂蚁集团的业务种类繁多,兼具金融级的“稳” 和互联网的 “快”,支撑又快又稳的业务发展需要完善的稳定性保障体系,这个体系的基石就是可观测性平台-AntMonitor。 早在2011年前,监控平台就已经完成初代建设,在2012到2017年这五年间,蚂蚁监控技术团队抽象出了业务视角监控牵引的模式,大大提升了核心业务的故障发现能力,同期研发了可视化引擎与易用的配置系统。为了支撑双.. 阅读详情

风口总是偏向那些找对方向的人。

2021年创投的风向标便吹向了IT运维这个赛道。根据IT桔子的不完全统计,2021年IT运维行业相关融资事件共有24起,融资金额约54.7亿元。

据艾瑞咨询的数据显示,2021年中国IT服务突破万亿大关,其中IT运维市场规模达到2941.2亿元。预计2023 年将达到3236.4 亿元,2020-2023 年的年复合增长率为 11.7%。就智能运维赛道而言,全球智能运维的市场规模年复合成长率预计为30.6%,2027年达到400亿美元的规模。

毋庸置疑,IT运维正在成为继SaaS之外又一个被送上风口的赛道。在这个巨大的角斗场中,资本、企业、技术正在塑造行业发展的新逻辑。

选择正确的赛道和正确的人

在过去的数十年间,运维发展经历了数个阶段。从早期的手工运维到标准化运维、自动化运维,再到DevOps、AIOps,追溯整个历程不难发现,运维方式随着技术的不断发展,逐渐迈向智能化。

从2016年AIOps(智能运维)概念被提出,到2017、2018年全球市场出现商业化产品,在国内市场,2020年是AIOps的元年。博睿数据也是在2020年开始重兵投入智能运维赛道。

根据第三方评估机构预测,到2022年,40%的大中型企业将部署AIOps平台。不难猜测,智能运维将在很长一段时间成为IT运维的重点赛道。

博睿数据作为国内智能运维领域的排头兵,自然也不例外。2008年博睿数据以监控起家,经过多年的打磨,成为了IT运维行业的领军企业;2020年博睿数据凭借强大APM背景和强大数据分析/AI(人工智能)能力成为国内A股市场上的“APM监测第一股”;同年,博睿数据凭借独到的市场眼光锚定智能运维赛道,有理由相信,博睿数据在今后的智能运维赛道中也将行稳致远。也正是基于博睿数据每一次的正确选择,吸引了那些紧跟赛道和风口的优秀人才的目光。

现任博睿数据首席架构师李骅宸与博睿数据AIOps首席专家贺安辉便是其中的佼佼者。

李骅宸,此前在蚂蚁集团负责数据服务稳定性,从事数据服务、系统稳定性、AIOps智能监控告警平台等研发工作,曾赋能支付宝关键业务和系统指标秒级态势诊断和应急决策。

贺安辉,之前在蚂蚁集团负责可观测性平台 AntMonitor 产品集的产品规划和设计工作, 对于AIOps的产品、算法、场景有丰富的实践经验。

近日,我们采访了两位经验丰富的大咖,试图从博睿数据的视角窥探AIOps 的全貌。

​关于AIOps 产品本身

就博睿数据而言,博睿数据的AIOps的核心是“数据+AI+产品+场景”四合一的综合解决方案。在一体化运维、告警管理、故障定位、应急快恢等高频运维场景中帮助用户更高效、更准确的达成业务目标。

就其优势而言,主要有5个方面:

门槛低:博睿数据的AI接入简单,开箱即用,算法支持可视化和自解释;

性能高:同等性能条件下资源消耗较少,1台4C8G机器可处理每分钟6.6万指标量,3台8C16G机器可处理每分钟48万指标量;

数据全:APM深耕多年,数据多而全,比如Trace核心基础能力,博睿数据支持多语言、多框架,也能和日志深度关联。这对AIOps做多模态数据联邦分析和挖掘有优势;

范围广:算法通用性强,适应范围广泛,针对不同行业进行了模型优化;

分析强:可观测数据、流程工单数据、配置管理数据汇总到数据中台,提供流批一体的在离线数据查询聚合能力,为任意指标、实体的关联分析提供独到见解支撑。

目前,博睿数据基于自研的大数据实时处理和分析平台 Zeus做数据挖掘,在异常检测、趋势预测、告警收敛、事件分析等应用场景方面已实现产品化落地。

具体来说,异常检测,主要应用于运维数据的无监督异常发现环节,不需要运维人员手工设置阈值即可做到异常的自主发现,大幅节省了人力投入;

趋势预测,主要应用于业务特性运维数据的预测场景,比如容量预测、访问量预测、硬件缺陷预测等等,对于运维人员的预算编制、业务规划和提前介入处置起到很大的参考作用;

告警收敛,主要应用于统一告警平台的事件管理场景,运维人员不再需要面对大量的无效告警,只需要关注收敛后的少量故障,应急处置的效率和精准度有了大幅提升;

事件分析,主要应用于一体化运维平台的问题管理场景,AI将指标、Trace、事件的异常信息汇聚到问题,从问题查找根因,从根因联动通知、自动化等处置步骤,问题分析的效率和精准度得到大幅改善。

在AIOps实践方面,博睿数据依托多年APM行业积累,已具备丰富的数据集合。依托IT运维监控能力,利用大数据和机器学习技术持续构建智能运维监控能力。

2021年,博睿数据在国内首次提出了“服务可达的数据链DNA”技术理念,D代表DEM(数字体验管理),N代表NPM(网络性能管理),A代表APM(应用性能管理),从而打通从代码到用户访问的全过程,进一步释放企业IT运维监控管理所有分支领域DEM、APM、ITIM、NPM和智能运维管理的能力。

目前,博睿数据算法中台 SwiftAI已赋能到新一代APM的Server产品、新一代的智能运维大数据平台DataView、“双模一体”智能应急中心OneAlert等,与博睿数据统一联邦数据中台 Zeus相辅相成,不断落地智能异常检测、趋势预测、智能告警、事件分析等场景,助力云原生时代服务可达。

2022年5月20日,博睿数据正式推出了一体化智能可观测平台ONE,该平台旨在建立一体化、智能化、面向业务与用户体验的统一运维平台,助力企业提高数字化体验,降低运维成本,提升工作效率,为数字化转型赋能升级。同时,这也是业界第一个将所有运维监控需求“All in ONE”的统一平台。博睿数据的AI 能力,比如告警收敛、根因分析、多维分析、影响分析等,也将在ONE 平台的观测洞察、应急管理等模块中逐步落地。

谈及博睿数据AIOps未来的发展,贺安辉表示:“未来,博睿数据在AIOps 方面将在根因定位、影响分析、NLP、算法实验室四个方面发力。”

同时,未来博睿数据也将继续发展多模态数据联邦“底座”和AI算法的广度和深度,支持全程服务可观测。

AIOps 未来已来

虽然AI技术给运维工作带来的价值显而易见,但需要明确的是AIOps 不是一个一蹴而就的实践,而是一个长期演进的过程,需要不断创新发展。

就当前国内智能运维的环境而言,李骅宸认为AIOps还存在以下几方面的挑战:

普适性:在不同的客户业务场景中,如何减少定制化和实施成本,又能更好的解决业务问题。

可解释:AI的结果如何自解释,如何验证。

效率:高度自动化地减少人工干预。

资源:在私有化或POC时,极致的技术应用到资源和性能优化中,以最小资源成就最大价值。

稳定:AI算法高度智能化和自动化。

在他看来,博睿数据今后要在智能运维方面持续发力。

首先,要打破数据孤岛,做DNA 数据的最大化融合,建立数据资产的统一管理仓库,产生联邦数据的次生价值。以博睿数据提出的数据链DNA 概念为例,AIOps是DNA中重要的一环,可助力APM产品和数据实现端到端打通,让DNA更加自动化和智能化。同时,DNA数据链也给AI提供场景和数据土壤,让AI通过信息整合、特征关联真正的跑出优质算法模型。

其次,要加强数据分析和数据挖掘,扩展AI产品能力,夯实算法基础能力,让AI支持轻量级的模块化和产品化。在算法可解释性和评价体系方面建立一套标准,引入不同的数据集进行数据加工分析,用真实故障注入的方式来不断锤炼AIOps能力,在商业化输出时能够以近乎开箱即用、极低适配成本的方式实现价值的最大化输出。

更为重要的是,AIOps本就是基于已有的运维数据,并通过机器学习的方式来进一步解决自动化运维没办法解决的问题。企业实现AIOps的前提是建立起全面获取IT数据的能力,这里的数据主要包括但不限于日志、指标和事件等。将这些数据输送给AIOps平台,为AIOps提供数据资产,以进行整合的更高级别的分析和洞察。如果没有这些大数据的支持,AIOps则是无源之水。所以对于企业来说,大数据采集工作至关重要。

两位大咖对AIOps的未来发展充满信心。总体而言,中国市场足够大,数据也足够丰富,而在国家战略和政策的支持下,传统制造业正向智能创造逐步发展,发展的过程中必然会涉及大量数据处理,而这也是AI技术的强项,当前在运维领域,AI技术的应用还是刚刚起步,慢慢成熟,在未来的3-5年内,AI技术会广泛应用到运维场景中,向自助式服务方向发展。

写在最后

每一个产品最需要的是被市场认可。

在标准制定方面,2021年博睿数据获信通院首批AIOps评估的异常检测全面级,同年博睿数据作为信通院组织的AIOps标准工作小组成员,多项建议纳入到规范标准。

在产学研方面,博睿数据也跟厦门大学成立联合实验室,开展机器学习、深度学习方面的合作。

在行业应用落地方面,博睿数据的AIOps解决方案已经落地到银行、保险、证券、教育、航空等行业中,如异常检测场景、告警收敛场景、趋势预测场景等,为客户的数字化转型加速赋能。

antminer-monitor:使用简单的Web界面的Cryptocurrency ASIC挖掘硬件监视器 蚂蚁矿工监视器 基于Lite Python的Antminer Monitor !!! 根据需要添加任意数量的矿工 支持矿工A3,B3,D3,E3,L3,L3 +,L3 ++,R4,S7,S9,S11,S17,S17 Pro,T9,T9 +,T17,V9,X3,Z9 mini,Z11 检查其哈希率,温度,风扇速度,芯片状况,硬件错误率,正常运行时间 获取有关矿工错误的应用内通知(需要刷新) 将错误记录到文件 显示按模型分组的总哈希率 受密码保护的登录页面 屏幕截图 要求 Antminer Monitor需要Python才能运行。 Python2和Python3均受支持!!! Mac和Linux用户默认在系统上安装了Python Windows用户可以从下载Python ** ATTENTION **安装Python时,请务必在“ Customize Python ”步骤中选中“ Add python.exe to Path 。如果不选择此选项,您可能会遇到安装需求时出现一些错误 全新安装 下载从#AntminerMonitor的最新官方发布或从最新的非官方发布 将下载的文件 立即下载

相关推荐

antmonitor:一个网络应用程序,它通过图表中的可视化收听来自传感器(例如心率)的 ANT+ 广播

监听器 一个网络应用程序,它通过图表中的可视化收听来自传感器(例如心率)的广播。 它支持接收来自同一设备配置文件的多个传感器的广播。 计时器可用于基本计时。 开放供非商业/个人使用: : 截屏: ###安装 下载最新版本 解压 运行“凉亭安装”(对于knockoutjs/highcharts/libantjs) 以开发者模式在 Chrome 浏览器中加载应用程序 (chrome://extensions) *尼克斯: * Listing of attached usb devices from Dynastream 'lsusb -d 0x0fcf:' * Listing of processes that owns USB devices 'sudo lsof +D /dev/bus/usb' * suunto/usb-serial-simple ke

蚂蚁监控平台 - antmonitor架构设计

antmonitor架构分享

weixin_38002497的博客 1299

三维重建之条纹投影结构光(一)

该系列为条纹投影结构光学习笔记,一共分为四篇。第一篇记录文献阅读的笔记,对重要知识点进行摘录介绍。 本篇以理论知识推导为主,主要从以下三个方面进行介绍,首先介绍条纹投影的三角测量原理;然后介绍相位主值的求解和相位展开;最后介绍相位和高度的模型,即相高模型。本篇博文不涉及具体的代码实现。 条纹投影结构光测量原理 ...

beyond951的博客 3万+

2021 大促 AntMonitor 总结 - 云原生 Prometheus 监控实践

文|陈岸琦(花名:敖清)蚂蚁集团高级开发工程师负责蚂蚁 Prometheus 监控原生功能在蚂蚁集团的落地与产品化建设本文6566字 阅读15分钟前 言日志和指标是监控不可或缺的...

金融级分布式架构 1142

Cocos Creator 3.x 实战:用脚本动态加载Spine动画,告别resources硬编码

本文详细介绍了Cocos Creator 3.x中Spine动画的动态加载与挂点系统实战技巧。通过Asset Bundle替代传统resources硬编码方式,实现资源的高效管理和热更新支持,同时结合TypeScript强类型和单例模式优化加载流程。文章还深入探讨了跨平台适配、挂点编程方案及性能优化策略,帮助开发者提升游戏开发效率与灵活性。

weixin_42526353的博客 267

Qwen2.5-VL模型微调实战:从零到部署的完整流程(附避坑指南)

本文详细介绍了Qwen2.5-VL视觉语言模型从零开始的完整微调与部署流程。内容涵盖使用LLaMA-Factory进行LoRA微调的关键参数配置与避坑指南,以及如何将训练好的模型权重合并,并最终利用vLLM高性能推理引擎进行部署,为开发者提供了一套可落地的实战方案。

oo7890的博客 591

从ZooKeeper切换到ClickHouse-Keeper,藏着怎样的秘密

本文字数:7772;估计阅读时间:20 分钟作者:博睿数据 李骅宸(太道)& 小叮当本文在公众号【ClickHouseInc】首发Bonree ONE是博睿数据公司发布的一体化智能可观测平台。平台所有信号数据迁移到ClickHouse集群后,随着数据量的增长,对ZooKeeper的性能和稳定性要求也越来越高。ZooKeeper是一个开源的分布式协调组件,用于分布式系统之间的协调作用。但我们在使用中也遇到了一些痛点,如果不及时处理会影响到业务。

ClickHouseDB的博客 3692

图信号处理中的多尺度分析:图小波变换与图傅里叶变换的对比与应用

本文深入探讨了图信号处理中的多尺度分析方法,重点对比了图小波变换(GWT)与图傅里叶变换(GFT)的技术特点与应用场景。通过分析图的拓扑结构,GWT展现出强大的局部洞察力,适用于异常检测和社区发现;而GFT则擅长全局频率分析,适合趋势分析和信号去噪。文章结合实战案例,为读者提供了方法选型指南和前沿进展,帮助开发者在生物信息学、社交网络分析等领域高效应用这些技术。

weixin_30369041的博客 406

十年磨一剑:蚂蚁集团可观测性平台 AntMonitor 揭秘

这两点共同解决了数据孤岛的问题。CeresDB 已经有了纯内存时序数据库 MTSDB 用于缓存最新时间段的数据以提升查询性能,但内存是昂贵的,MTSDB 保存的数据时长也受到了内存的极大限制,很难保存超过 12 小时以上的数据,而用户的查询需求越来越高,这部分数据必须从更下层的分布式存储读取,时延相对较大,如果能将这部分数据存储在和内存读写速度在一个量级的 AEP 中,那么无疑会给查询体验带来很大的提升。这里的时序数据平台是一个广义的时序数据的综合解决方案,可以看做是传统的CMDB和时序数据的融合平台。

bjmsb79的博客 1602

手把手教你用海康威视相机+DLP4500搭建双目结构光系统(附避坑指南)

本文详细介绍了如何使用海康威视相机和DLP4500搭建双目结构光三维测量系统,涵盖硬件选型、系统搭建、双目标定及三维重建等关键步骤。特别针对预算有限的开发者和实验室团队,提供实用的避坑指南和优化技巧,帮助实现0.02mm的高精度测量。

weixin_42526087的博客 462

破译丰田BEAN总线之谜

我对CAN的深入了解并不是从CAN本身开始的,而是起源于丰田公司自主研发的BEAN总线。由于BEAN总线协议并不是公开的,而是一种技术机密,所以当丰田车不在使用BEAN总线两年多后的今天,虽然这里还不敢公开技术细节,但回想起当年的作品,随便写写也算对自己的努力有所交代。   南方都市报惠州版曾经报道过一则新闻,说的是丰田皇冠车被盗率非常高。其实两年前就已经知道了皇冠车的防盗系数很低,所以当时的首

粤嵌 5263

博睿数据将出席ClickHouse Hangzhou User Group第1届 Meetup

在当前数字化浪潮下,数据的规模和复杂性不断攀升,如何高效地处理和分析这些数据成为了业界共同面临的挑战。此次活动,李骅宸将从可观测性的专业角度,详细解读ClickHouse在多种数据场景下的实际应用案例,并深入剖析如何通过一系列优化技术,进一步提升ClickHouse的性能与效率。2024年5月18日,博睿数据数智能力中心负责人李骅宸将受邀参加ClickHouse Hangzhou User Group第1届 Meetup活动,分享《ClickHouse在可观测性的应用实践和优化》的主题演讲。

BJ_Bonree的博客 568

深度学习——VGG16模型详解

1、网络结构 VGG16模型很好的适用于分类和定位任务,其名称来自牛津大学几何组(Visual Geometry Group)的缩写。 根据卷积核的大小核卷积层数,VGG共有6种配置,分别为A、A-LRN、B、C、D、E,其中D和E两种是最为常用的VGG16和VGG19。 介绍结构图: conv3-64 :是指第三层卷积后维度变成64,同样地,conv3-128指的是第三层卷积后维度变成128; input(224x224 RGB image) :指的是输入图片大小为224244的彩色图像,通道为

橙子的博客 12万+

蚂蚁智能运维:单指标异常检测算法初探

1背景介绍AntMonitor:蚂蚁集团研发的一款面向云原生时代的全功能智能运维产品,包含业务监控、应用监控、基础设施监控、云原生可观测、一站式多维分析等功能。其中,智能化的单指标异常...

金融级分布式架构 3140

智能座舱测试工程师必看:从零搭建自动化测试框架的5个实战技巧

本文为智能座舱测试工程师提供从零搭建自动化测试框架的5个实战技巧,涵盖环境搭建、ADB高级应用、Python脚本工程化、Monkey测试优化及性能调优。通过ADB深度操作和Python脚本封装,帮助测试人员构建高可复用的智能座舱测试解决方案,显著提升测试效率与问题发现率。

python9snake的博客 634

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

AntMonitor-移动端流量监控系统的实现

入侵异常检测IDS分类详解

Ds的博客 1946

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

100%降本增效!Bonree ONE平台通过ClickHouse实现了可观测信号数据的统一!

我们将Driud、Elasticsearch、HDFS这些重组件存储的所有可观测性信号数据全部迁移到了ClickHouse。本期先介绍Druid迁移ClickHouse的部分。

ClickHouseDB的博客 905

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

软件测试周刊(第78期):你对未来越有信心,你对现在越有耐心。

敏捷用例平台+接口自动化测试的探索实践;你不知道的 HTTPS 压测;Web前端测试就别卷了;揭秘蚂蚁十年磨一剑的可观测性平台 AntMonitor;SAFe之度量指标;HTTP史记 - 从HTTP/1到HTTP/3;服务 API 版本控制设计与实践;如何画业务大图?良好的战略思维,需要回答的三个关键问题。...

毕小烦的学习笔记 858

浅谈 Python 的 with 语句

原文:浅谈 Python 的 with 语句作者: 王生辉, 软件工程师, IBM 李骅宸 (lihuach@cn.ibm.com), 软件工程师 with 语句是在 Python 2.5 版本引入的,从 2.6 版本开始成为缺省的功能。with 语句作为 try/finally 编码范式的一种替代,用于对资源访问进行控制的场合。本章对 with 语句进行介绍,包括 with 语句的基本语法和工作原

怒河春醒 518

蚂蚁智能监控

**AntMonitor 简 介 ** AntMonitor 是蚂蚁集团的智能监控系统,通过构建面向监控可观测数据的、实时的、稳定的采集、清洗、计算及存储数据链路,为技术风险大脑及体系提供实时、稳定、可靠、丰富的可观测数据与告警服务。 AntMonitor 日常服务于蚂蚁全站 100+ 业务域,分钟峰值数据清洗量 20TB、数据聚合量 1TB、数据存储量 1.5 亿条,大促期间这些指标更是成倍增长,如此庞大且复杂的系统是如何对自身的稳定性进行保障的,这篇文章将从思考、策略与实现的角度带领大家一探究竟。 系

金融级分布式架构 1090

从ES到ClickHouse,Bonree ONE平台更轻更快!

本系列第一篇内容:100%降本增效!Bonree ONE平台通过ClickHouse实现了可观测信号数据的统一!Bonree ONE是博睿数据发布的一体化智能可观测平台,融合了指标、调用链、日志、会话、事件等多种数据。早期时候,调用链、会话、日志的数据存到了Elasticsearch。我们历史架构如下图,大数据团队需要维护多种存储。比如,告警业务A说要做AI训练,就得自己加工一份时序数据到HDFS,指标中心业务B说加工指标,就自己加工一条链路到ClickHouse,DEM业务C想做会话分析,APM业务D又想

ClickHouseDB的博客 1532

少年五年升阿里P8,他如何从低谷登上“光明顶”?

作者 | 蚂蚁技术电影《太空旅客》里,无人驾驶的阿瓦隆号飞船去往家园2号要经历120年,飞船的顺利抵达必须依赖一套高端智能运维系统。在蚂蚁,技术风险部的智能监控就好比那个智能运维系统,而...

程序人生的博客 1万+

【直播预告】浅谈可观测性存储问题的解决之道

“可观测性技术实践系列”由云原生社区主办,本期直播由云杉网络发起,并联合SOFAStack共同举办,聚焦“浅谈可观测性存储问题的解决之道”主题。本期直播将分享蚂蚁集团统一可观测性平台的工程技术体系,逐步揭秘蚂蚁在可观测领域的技术选型与技术演进方面的思考,以及为大家介绍 DeepFlow AutoTagging 机制如何为所有观测信号统一注入标准的、丰富的标签,解密支撑 AutoTagging ...

金融级分布式架构 278

浅谈Python编码

Python的编码问题可能是很多人都遇到过的问题(没遇到的终将会遇到的),笔者之前也对这个问题很模糊,今天看了《Effective Python》之后总结一下自己的理解。 Unicode 先看ASCII码,ASCII码我们比较熟悉,用一个字节表示了128个字符,其中包含标点符号,数字,英文字母等。 但是ASCII有一个问题,就是一个字节只有8位最多只能表示256个字符,不可能表示世界各个国家...

YuanXu's Blog 264

【Python】详解 with 语句 (上下文管理器) —— 异常处理完全解读 (下)

Python 对一些内建对象进行改进,加入了对上下文管理器的支持。上下文管理器的典型用途包括:保存和恢复各种全局状态、锁定和解锁资源、关闭已打开的文件等,且常使用 with 语句调用。

闻韶 3431

Ftrace使用指南及跟踪系统调用

http://vonnyfly.github.io/2013/06/24/ftraceshi-yong-zhi-nan/ 转载于:https://www.cnblogs.com/zengkefu/p/8093664.html

weixin_30597269的博客 324
上一篇: 实时监控,智能预警,疾控中心的战疫“速度”
下一篇: 5月券商App行情刷新及交易体验评测报告,四家券商综合评级上升
Bonree博睿数据
博客等级 码龄5年 1037粉丝 372原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值