【直播预告】浅谈可观测性存储问题的解决之道

十年磨一剑:蚂蚁集团可观测性平台 AntMonitor 十年磨一剑:蚂蚁集团可观测性平台 AntMonitor 揭秘 2022-05-20 13:55·JAVA互联搬砖工人 蚂蚁集团的业务种类繁多,兼具金融级的“稳” 和互联网的 “快”,支撑又快又稳的业务发展需要完善的稳定性保障体系,这个体系的基石就是可观测性平台-AntMonitor。 早在2011年前,监控平台就已经完成初代建设,在2012到2017年这五年间,蚂蚁监控技术团队抽象出了业务视角监控牵引的模式,大大提升了核心业务的故障发现能力,同期研发了可视化引擎与易用的配置系统。为了支撑双.. 阅读详情

fe500bb63d3195d460ce9e0ba20767e1.gif

“可观测性技术实践系列”由云原生社区主办,本期直播由云杉网络发起,并联合 SOFAStack 共同举办,聚焦“浅谈可观测性存储问题的解决之道”主题。

本期直播将分享蚂蚁集团统一可观测性平台的工程技术体系,逐步揭秘蚂蚁在可观测领域的技术选型与技术演进方面的思考,以及为大家介绍 DeepFlow AutoTagging 机制如何为所有观测信号统一注入标准的、丰富的标签,解密支撑 AutoTagging 高性能的关键机制 SmartEncoding。

浅谈可观测性存储问题的解决之道

直播日期

1 月 11 日(周三)20:00~21:30

直播平台

云原生社区视频号/B 站、云杉网络视频号、SOFAStack B 站、分布式实验室视频号

SOFAStack

认准 B 站直播间:

959eb1bfc516b83b60560db3eddf7c4c.png

http://live.bilibili.com/21954520


第一位演讲嘉宾

陈伟荣

蚂蚁集团

高级技术专家

79b04b7f14927b2861afa4a8ca40e684.png

自 15 年加入阿里集团以来,一直在可观测性领域工作,是一名在该领域摸爬滚打了 7 年有余的老兵。在阿里工作期间,是电商可观测系统 Sunfire 的创始团队成员。17 年本人转岗至蚂蚁,随后协同并带领团队逐步升级蚂蚁监控到蚂蚁统一可观测平台 antmonitor。过程中产出了可观测实时采集计算平台 pontus,开源时序数据库 CeresDB 等关键技术成果。

目前正在负责蚂蚁可观测技术与架构团队,整体推进蚂蚁集团可观测领域的核心技术研发与架构演进工作。

演讲主题

《蚂蚁集团可观测性与时序数据库实践》

本次分享主要介绍了蚂蚁集团统一可观测性平台的工程技术体系。通过对技术架构的分享,透视为何蚂蚁能将自基础设施到业务,乃至客户端的可观测能力融合到统一平台,为公司运维与稳定行保障提供基础底盘。分享中将会着重介绍两大核心技术点:大规模实时采集与预计算系统、自研并已开源的时序数据库 CeresDB。本次分享会逐步揭秘蚂蚁在可观测领域的技术选型与技术演进方面的思考。

演讲提纲

1. 蚂蚁集团整体可观测性平台介绍与架构分享;
2. 蚂蚁可观测平台采集与实时计算技术;
3. 蚂蚁可观测平台时序存储 CeresDB 与其演进。

听众收益

1. 收获一个大型互联网公司在统一可观测平台建设方面的成功经验;
2. 理解大型互联网公司在建设可观测性平台上的技术选型与技术演进方面的思考;
3. 理解业界可观测性平台建设中重难点核心技术(实时计算与时序数据库);
4. 如何协调开源与公司自研之间的关系。

bb52b92315e2ca7af9bbcf41098d7c33.png

扫码进入直播互动文档

提交您的问题


第二位演讲嘉宾

宋贞

DeepFlow

高级技术专家

c6a53cab9c801f84143347716e459162.png

于 2012 年加入云杉,从云平台、SDN 网络到云原生可观测性平台,对云基础设施和云原生应用系统有深厚的知识沉淀和实战经验,目前主要负责 DeepFlow Server 端的关键技术研究与开发。

演讲主题


《DeepFlow AutoTagging 10x 
性能提升实战》

为了探究云原生应用系统的内部状态,我们希望向观测数据中注入尽量丰富的标签,这些标签以往通过开发人员手动在代码中注入,或通过配置 Promtheus、OpenTelemetry 实现,一方面造成了很大的工作量和资源开销,另一方面也导致不同信号源的数据标签不一致形成数据孤岛。

DeepFlow 依靠 AutoTagging 机制可以为所有观测信号统一注入标准的、丰富的标签,很好的解决了这些问题。本次直播将会为大家解密支撑 AutoTagging 高性能的关键机制 SmartEncoding。通过对标签数据的分离编码和查询时关联,我们将存储开销降低了 10~50 倍,并且能支持无限量的 K8s label/annotation 等信息作为业务自定义标签。通过 deepflow-server 提供的 SQL API,这些编码和关联机制对使用者完全透明,就像在一张大宽表上直接查询。

演讲提纲

1. AutoTagging:为所有观测信号统一注入标准的、丰富的云基础设施及云原生应用标签;
2. SmartEncoding 分离编码:通过提前编码降低标签写入的资源消耗;
3. SmartEncoding 查询关联:为所有观测信号注入无限量的自定义标签;
4. 存储和查询观测数据中已有的(开发自定义、Prometheus、OpenTelemetry)标签;
5. 后续迭代计划:支持更丰富的自定义标签、支持通过 OTLP 协议 Export 数据。

听众收获

1. DeepFlow AutoTagging 和 SmartEncoding 的实现方法;
2. 如何 10x 降低可观测性数据平台的资源成本。


直播间福利

05ea9792792d4b499ed35355a32605bc.jpeg
可收纳 U 型枕

cffdd51321e00632b5a1361a06fa3d81.jpeg
加大鼠标桌垫


08c8cfb8d3bd84c19b6f6bdad29dd9f6.jpeg

c83356a9aaa16429b0e78bb82ae892bf.jpeg

antmonitor:一个网络应用程序,它通过图表中的可视化收听来自传感器(例如心率)的 ANT+ 广播 监听器 一个网络应用程序,它通过图表中的可视化收听来自传感器(例如心率)的广播。 它支持接收来自同一设备配置文件的多个传感器的广播。 计时器可用于基本计时。 开放供非商业/个人使用: : 截屏: ###安装 下载最新版本 解压 运行“凉亭安装”(对于knockoutjs/highcharts/libantjs) 以开发者模式在 Chrome 浏览器中加载应用程序 (chrome://extensions) *尼克斯: * Listing of attached usb devices from Dynastream 'lsusb -d 0x0fcf:' * Listing of processes that owns USB devices 'sudo lsof +D /dev/bus/usb' * suunto/usb-serial-simple ke 立即下载

相关推荐

antminer-monitor:使用简单的Web界面的Cryptocurrency ASIC挖掘硬件监视器

蚂蚁矿工监视器 基于Lite Python的Antminer Monitor !!! 根据需要添加任意数量的矿工 支持矿工A3,B3,D3,E3,L3,L3 +,L3 ++,R4,S7,S9,S11,S17,S17 Pro,T9,T9 +,T17,V9,X3,Z9 mini,Z11 检查其哈希率,温度,风扇速度,芯片状况,硬件错误率,正常运行时间 获取有关矿工错误的应用内通知(需要刷新) 将错误记录到文件 显示按模型分组的总哈希率 受密码保护的登录页面 屏幕截图 要求 Antminer Monitor需要Python才能运行。 Python2和Python3均受支持!!! Mac和Linux用户默认在系统上安装了Python Windows用户可以从下载Python ** ATTENTION **安装Python时,请务必在“ Customize Python ”步骤中选中“ Add python.exe to Path 。如果不选择此选项,您可能会遇到安装需求时出现一些错误 全新安装 下载从#AntminerMonitor的最新官方发布或从最新的非官方发布 将下载的文件

蚂蚁监控平台 - antmonitor架构设计

antmonitor架构分享

weixin_38002497的博客 1299

ck3m多轴运动控制器笔记1:电机的配置与注意事项

利用PMAC(CK3M)运动控制器来实现对电机的控制,对具体的配置流程和注意事项讲解

p975468132的博客 4640

2021 大促 AntMonitor 总结 - 云原生 Prometheus 监控实践

文|陈岸琦(花名:敖清)蚂蚁集团高级开发工程师负责蚂蚁 Prometheus 监控原生功能在蚂蚁集团的落地与产品化建设本文6566字 阅读15分钟前 言日志和指标是监控不可或缺的...

金融级分布式架构 1142

【Linux】Petalinux使用QSPI FLASH引导启动

1. 预分配Flash空间使用Flash引导Petalinux做的系统,也有进阶的做法。部分图片和经验来源于网络,若有侵权麻烦联系我删除,主要是做笔记的时候忘记写来源了,做完笔记很久才写博客。1. 预分配Flash空间根据生成的bit文件大小估算BOOT.BIN文件的大小,为Flash大概分配四个分区:boot、bootenv、kernel、bootscr,分别存放BOOT.BIN文件、u-boot的环境变量、内核文件(image.ub/zImage/uImage等)、启动脚本boot.scr。

Tesseract_9527的博客 3375

零样本缺陷检测新体验:用AnomalyGPT大模型快速搭建智能质检系统(附Win10适配指南)

本文详细介绍了如何利用AnomalyGPT大模型在Windows 10系统上快速搭建零样本工业缺陷检测系统。通过实战指南,涵盖从环境部署、模型准备到工程化落地的全过程,包括将模型封装为API服务、接入工业相机以及开发可视化监控看板,为制造业智能质检提供了一套高效、低门槛的本地部署解决方案。

weixin_29094775的博客 310

十年磨一剑:蚂蚁集团可观测性平台 AntMonitor 揭秘

这两点共同解决了数据孤岛的问题。CeresDB 已经有了纯内存时序数据库 MTSDB 用于缓存最新时间段的数据以提升查询性能,但内存是昂贵的,MTSDB 保存的数据时长也受到了内存的极大限制,很难保存超过 12 小时以上的数据,而用户的查询需求越来越高,这部分数据必须从更下层的分布式存储读取,时延相对较大,如果能将这部分数据存储在和内存读写速度在一个量级的 AEP 中,那么无疑会给查询体验带来很大的提升。这里的时序数据平台是一个广义的时序数据的综合解决方案,可以看做是传统的CMDB和时序数据的融合平台。

bjmsb79的博客 1602

Cartographer纯定位实战:从仿真到真机部署的避坑指南

本文详细介绍了将Cartographer算法应用于机器人纯定位模式的完整实战流程。通过对比传统AMCL方案的不足,阐述了Cartographer基于子图匹配实现高精度、高鲁棒性定位的优势。内容涵盖从仿真环境测试到真机部署的核心步骤,包括关键配置文件修改、源码调整以及参数调优,旨在帮助开发者避开常见陷阱,成功实现稳定可靠的机器人定位系统。

weixin_29063681的博客 251

蚂蚁智能运维:单指标异常检测算法初探

1背景介绍AntMonitor:蚂蚁集团研发的一款面向云原生时代的全功能智能运维产品,包含业务监控、应用监控、基础设施监控、云原生可观测、一站式多维分析等功能。其中,智能化的单指标异常...

金融级分布式架构 3140

使用Dify搭建音频文件转文本工作流

使用Dify搭建音频文件转文本工作流

zyx_bx的博客 5623

【异常】Cursor编辑器 “Taking longer than expected...“ 报错全链路排查与解决方案

该提示并非传统的程序崩溃或语法报错,本质是Cursor编辑器的超时预警机制——当核心任务(云端AI推理请求、本地项目索引等)的执行耗时超出系统预设阈值时,触发的用户告知类提示,核心诱因是任务执行全链路出现阻塞或性能瓶颈。以下方案按排查优先级从高到低排序,覆盖从快速急救到根因根治的全流程,可按步骤逐步验证解决。针对大仓库、多依赖项目的索引超时问题,核心是通过规则过滤无效文件,从根源降低索引负载。

奶爸的编程之路,也就一周冷个三天 3101

AntMonitor-移动端流量监控系统的实现

入侵异常检测IDS分类详解

Ds的博客 1946

复现论文《大规模风电场电磁暂态高效建模仿真方法》

本文提出了一种针对大规模风电场电磁暂态(EMT)仿真的高效建模方法。通过三种关键技术实现仿真加速:(1)永磁直驱风电机组一体化等效建模,采用节点导纳矩阵降维将25节点机组简化为4端子电路,仿真速度提升1-3个数量级;(2)基于戴维南/诺顿等效和OpenMP并行计算的风电场整体建模,通过串并联叠加实现节点收缩,30台机组仿真加速近万倍;(3)受控源映射解耦方法提高故障仿真灵活性。复现代码展示了核心算法实现,包括导纳矩阵Schur补降维、多进程并行计算框架以及受控源解耦方法。

huanghm88的专栏 279

软件测试周刊(第78期):你对未来越有信心,你对现在越有耐心。

敏捷用例平台+接口自动化测试的探索实践;你不知道的 HTTPS 压测;Web前端测试就别卷了;揭秘蚂蚁十年磨一剑的可观测性平台 AntMonitor;SAFe之度量指标;HTTP史记 - 从HTTP/1到HTTP/3;服务 API 版本控制设计与实践;如何画业务大图?良好的战略思维,需要回答的三个关键问题。...

毕小烦的学习笔记 858

MobileViT替换YOLOv11主干网络:轻量化新思路-(用MobileViT等轻量视觉Transformer降低计算成本)

在计算机视觉领域,目标检测一直是核心任务之一,而YOLO(You Only Look Once)系列算法因其出色的速度-精度平衡成为工业界和学术界的热门选择。随着YOLOv11的推出,模型性能达到了新的高度,但其计算复杂度和参数量也随之增加,这对资源受限的移动设备和嵌入式系统提出了挑战。与此同时,视觉Transformer(ViT)的出现为计算机视觉带来了全新范式,但其庞大的计算需求限制了在移动端的应用。MobileViT作为一种创新的轻量级视觉Transformer架构,巧妙结合了CNN的归纳偏置优势和V

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 1647

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

少年五年升阿里P8,他如何从低谷登上“光明顶”?

作者 | 蚂蚁技术电影《太空旅客》里,无人驾驶的阿瓦隆号飞船去往家园2号要经历120年,飞船的顺利抵达必须依赖一套高端智能运维系统。在蚂蚁,技术风险部的智能监控就好比那个智能运维系统,而...

程序人生的博客 1万+

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

蚂蚁智能监控

**AntMonitor 简 介 ** AntMonitor 是蚂蚁集团的智能监控系统,通过构建面向监控可观测数据的、实时的、稳定的采集、清洗、计算及存储数据链路,为技术风险大脑及体系提供实时、稳定、可靠、丰富的可观测数据与告警服务。 AntMonitor 日常服务于蚂蚁全站 100+ 业务域,分钟峰值数据清洗量 20TB、数据聚合量 1TB、数据存储量 1.5 亿条,大促期间这些指标更是成倍增长,如此庞大且复杂的系统是如何对自身的稳定性进行保障的,这篇文章将从思考、策略与实现的角度带领大家一探究竟。 系

金融级分布式架构 1090

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

【大咖秀】博睿数据眼中的AIOps,选择正确的赛道正确的人

探知AIOps全貌,为企业数字化转型赋能

BJ_Bonree的博客 312

如何保障业务稳定性?一文详解蚂蚁业务智能可观测平台BOS

本文将从可观测性视角出发,分析云上云下业务稳定性的难点,介绍蚂蚁集团的BOS平台是如何建设完善的解决方案来解决这些实际的痛点难点,并通过多个实践案例分享企业与机构如何利用BOS平台来实现云上云下全链路可观测性的需求。

蚂蚁金服技术团队 2394

精彩回顾|KusionStack 开源啦~

????KusionStack Open Day 圆满结束????感谢大家抽空参加我们一起来回顾下????本次活动的精彩瞬间吧~????蚂蚁集团高级技术专家、Kusion 项目发起人及负责人——朵晓东作为整场活动的主持人,带领大家一起回顾了 Kusion 项目演进历程,并宣布了 KusionStack 正式开源的好消息!活动开场,Kusion 项目的两位 Sponsor——蚂蚁集团可信原生技术部...

光谷码农 630

少年五年升阿里 P8,他如何从低谷登上“光明顶”?

作者 | 蚂蚁技术电影《太空旅客》里,无人驾驶的阿瓦隆号飞船去往家园2号要经历120年,飞船的顺利抵达必须依赖一套高端智能运维系统。在蚂蚁,技术风险部的智能监控就好比那个智能运维系统,而...

金融级分布式架构 1201

微服务开发中的数据架构设计

本文来自作者 陈伟荣 在 GitChat 分享【微服务开发中的数据架构设计】前言微服务是当前非常流行的技术框架,通过服务的小型化、原子化以及分布式架构的弹性伸缩和高可用性,可以实现业务之间的松耦合、业务的灵活调整组合以及系统的高可用性。为业务创新和业务持续提供了一个良好的基础平台。本文分享在这种技术架构下的数据架构的设计思想以及设计要点,本文包括下面若干内容。微服务技术框架中的多层数据架构设计数据...

javaxuexi123的博客 1938

十年磨一剑,四年磨一贱

摘自: http://linuxaid.com.cn/infos/7/2/728930915.shtml 2004年8月资讯盘点       “十年之前,我不认识你你不属于我,我们还是一样陪在一个陌生人左右,走过渐渐熟悉的街头。”大概,怀旧已经成为我们这个时代的主旋律,所以陈奕迅的这首《十年》红遍大江南北,成为n多不太老的老人以及不太年轻的年轻人在回忆初恋情怀以及走亲访友居家旅行时的必备良

klandy的专栏 1064

微服务架构下的数据一致性

在微服务架构下呢,我们需要将每个服务对应自己的数据库,这就成了在原来单体架构中所有的服务操作一个数据库变成了多个服务操作多个数据库,遇到有事务约束的场景比如转账汇款,订单状态和库存处理,就从本地事务过度到分布式事务上但我们的分布式事务并不适用于微服务,出现的问题1. 俩个阶段提交会出现同步阻塞和加锁,并且有单点故障2. 由于锁的原因降低吞吐量3. 并且我们的Nosql数据库并不支持2PC(俩阶段提...

mn_kw的博客 642

Postman之Monitor详细教程

Monitor简介1、是基于Postman集合API的灵活监控2、监控API的正常运行时间、响应能力和正确性3、提供监测结果的详细报告4、对所有Postman用户每月提供1000个免费的监控请求详细使用教程1、点击需要监控集合右侧箭头,选择Monitors,点击“Add a monitor”2、输入监控名称“机票 Monitor”,选择运行环境“online”,定时类别我选择了分钟级的“Minut...

小马的学习笔记 1万+

可观测性-Metrics-存储-InfluxDb

InfluxDB 是一个,旨在处理高写入和查询负载。(Telegraf、InfluxDB、Chronograf、Kapacitor)的一个组成部分。InfluxDB 旨在用作任何涉及大量时间戳数据的用例的后备存储,包括 DevOps 监控、应用程序指标、物联网传感器数据和实时分析。

laker的博客 1414
上一篇: SOFA Weekly|SOFANews、本周贡献 & issue 精选
下一篇: Nerdctl 原生支持 Nydus 加速镜像
SOFAStack
博客等级 码龄7年 747粉丝 389原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值