EventBridge 实践场景:流计算 Oceanus 告警消息实时推送

腾讯Oceanus实时计算平台架构设计 腾讯Oceanus实时计算平台架构设计—学习总结 一、背景 实时计算应用主要分为以下四类: (1)ETL:ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中,TDSort读取消息缓存系统Tube中的消息,通过流数据处理系统将消息队列中的数据进行实时分拣,并落地到HDFS接口机集群,并将最终分拣后的数据由加载到TDW中。 (2) 监控系统: 监控系统需要能够对产品和服务进行多维度的监控,对指标数据进行实时的聚合和分析,并支持方便灵活的报警规则设置。 (3)实时BI:及时运营策略。 (4 阅读详情

导语

本文演示了如何捕获流计算 Oceanus (Flink) 集群状态变更,并通过事件总线(EventBridge)发送到企业微信或钉钉、飞书客户端。

背景介绍

监控与报警系统对于业务生产环境来说是不可或缺的,一旦有故障发生,需要有完善的监控告警链路,保证告警消息可以实时完成推送并进行处理。

腾讯云事件总线(EventBridge)[1] 简称 EB,是一款安全、稳定、高效的无服务器事件管理平台。事件中心的事件总线可以接收来自您自己的应用程序、软件即服务(SaaS)和腾讯云服务的实时事件及相关数据流,通过集成消息推送和 SCF 云函数,可以实现邮件、短信、企业微信、钉钉、飞书等多种方式的通知。

流计算 Oceanus [2] 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

通过结合事件总线 EventBridge + 云函数 SCF,可以实时捕获流计算 Oceanus 集群异常事件并完成推送,本文演示如何捕获流计算 Oceanus 集群状态变更,并发送到企业微信或钉钉、飞书客户端。推送到钉钉、飞书可通过云函数中调用对应产品接口或参考文章《基于千帆 iPass 完成事件到 IM 服务的推送》[3] 中的方式来实现。

架构设计

整体架构设计如下图,从图中可以看出,当 Oceanus 集群发生状态变更时(如实例异常,实例隔离,实例下线等), Oceanus 系统会产生告警事件并主动推送给 EB,经过 EB 绑定的告警规则筛选后,完成到指定目标的推送,并可以基于 SCF 云函数,推送给更多第三方服务。

在这里插入图片描述

操作步骤

  1. 登录 EventBridge 控制台[1],配置告警规则

在这里插入图片描述

  1. 以「流计算 Oceanus TaskManager CPU 负载过高」事件告警配置为例,您可以选择指定的事件告警类型,也可以选择全部告警事件,详细事件匹配规则请参见 管理事件规则[4]。

在这里插入图片描述

流计算 Oceanus 常见事件类型如下:

  • 流计算作业失败
  • 流计算快照失败
  • JobManager Pod 异常退出
  • TaskManager 背压较高
  • TaskManager CPU 负载过高
  • TaskManager Pod 异常退出
  • TaskManager Full GC 过久
  1. 配置推送目标

可以自由选择投递目标,此处以消息推送和云函数两个投递目标为例。

  • 消息推送:通过配置消息推送,将您的告警事件推送至指定的消息接收渠道,完成用户及时触达。如果需要消息接收对象为子用户时,需 提前添加子用户[5] 并完成子用户的邮件、短信等接收渠道的验证才能正常收到消息推送。

在这里插入图片描述

  • 云函数投递:事件总线支持通用 HTTP 协议的 webhook 直接投递,如果您的投递目标对于请求格式有严格要求,建议先通过云函数完成投递事件格式转换,再通过 EB 将原始事件直接发送给指定函数,完成推送链路搭建。

在这里插入图片描述

  1. 告警链路测试

配置完成后,回到事件集控制台,选择刚刚已绑定的事件集,单击发送事件,可以选择已绑定的事件规则模版,单击发送进行测试。

注:测试模版里只展示 data 字段里的内容,其它字段已固定,无法自定义修改。

在这里插入图片描述

在这里插入图片描述

配置完成后,即可在腾讯云事件总线控制台,完成告警规则的查看与管理。

  1. 短信告警效果

在这里插入图片描述

参考阅读

[1] 事件总线 https://console.cloud.tencent.com/eb

[2] 流计算 Oceanus https://cloud.tencent.com/product/oceanus

[3] 基于千帆 iPaaS 完成事件到 IM 服务推送 https://cloud.tencent.com/document/product/1359/64644

[4] 管理事件规则 https://cloud.tencent.com/document/product/1359/56084

[5] 添加子用户 https://cloud.tencent.com/document/product/598/54458

请添加图片描述

复杂运维场景下,如何实现分钟级的故障根因定位 作者介绍 熊亚军 灵犀技术总监,原百度系统部高级项目经理,负责百度IT基础设施监控团队,其带领的团队经历了百度服务器规模迈入几十万量级,网络架构数次演进,对服务器尤其是网络层的监控和运维自动化智能化有丰富的经验。 开篇:在超级互联网公司,随着服务器规模都早早迈过 10 万台量级,加之业务模式的多样性和 IT 架构的云化迁移,其 IT 运维团队面临的挑战与日俱增,常规的系统和经验都需要不 阅读详情

相关推荐

物联网设备数据流转之告警信息推送:TDengine-alert

前面关于 的使用,我们只涉及到 端与 端,除此之外,官方还有一个报警模块,用以根据用户定义的规则实现近实时的报警监测。从开始到现在,我们一直在喊口号: ,事实上,在这个小项目中任何一个功能都对应一个实际真实存在的需求。既然是监测物联网设备的数据,那么我们的目的肯定是要看看设备的数据是不是有异常,这就对应于这样一个需求:Note: 整理代码时对 进行过一次升级, (2.2.0.0–>2.4.0.16),发现从官网上找不到 相关的信息了,而且 源码仓库关于 的代码也半年多没更新了,不了解是什么

Heartsuit的博客 2996

EventBridge 最佳实践场景一:Oceanus 告警消息实时推送

01. 背景介绍 监控与报警系统对于业务生产环境来说是不可或缺的,一旦有故障发生,需要有完善的监控告警链路,保证告警消息可以实时完成推送并进行处理。 腾讯云事件总线(EventBridge)是一款安全、稳定、高效的无服务器事件管理平台。事件中心的事件总线可以接收来自您自己的应用程序、软件即服务(SaaS)和腾讯云服务的实时事件及相关数据流,通过集成消息推送和 SCF 云函数,可以实现邮件、短信、企业微信、钉钉、飞书等多种方式的通知。 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Ap

腾讯云 Serverless 566

eventbridge-atlas:开源工具,用于记录,发现和共享您的EventBridge模式

AWS EventBridge地图集 :world_map: 记录,发现和共享AWS EventBridge模式。 功能:将EventBridge模式解析为文档解决方案,显示与事件匹配的规则,向每个事件属性添加元数据,支持slate,AsyncAPI和docuowl输出,等等。 | 问题 事件驱动的体系结构使我们能够扩展,灵活并热衷于将我们的体系结构分离。 最终,我相信它们可以帮助我们更有效地工作。 从事件驱动的架构开始时,我们会花时间发现我们的核心业务事件,编写与之匹配的代码并维护未来的版本。 在一段时间内,更多事件会添加到我们的域,需求更改和我们的体系结构规模中。 很难知道和理解我们领域中正在流动的事件。 我是AWS EventBridge的忠实拥护者,我编写了此工具来帮助工程师获得并保持对流经其域的事件的了解。 这个解决方案 EventBridge地图集使用 EventBridge地图集使

RocketMQ 集成生态再升级:轻松构建云上数据管道

本文将从业务架构和 API 使用等方面讲解如何使用 EventBridge 创建阿里云 RocketMQ 4.0、5.0 版本,开源自建版本以及消息路由的相关任务。

数据库技术 286

运维告警平台Alerts

运维告警平台,目前有告警实时web推送、微信报警、告警收敛等功能,之后会逐步添加更强大的功能,如报表、智能告警(提供告警解决方案)等等

【Matlab 传感器布局优化】基于群智能算法的wsn覆盖优化研究

本文主要是对同构和异构传感器在指定空间内的布局进行优化,以最大覆盖率为目标,使用了DBO/SCA/WOA/SSA/NOA等启发式算法,在100x100的空间内,对30,100,200个传感器进行优化,得到最优的布局位置和对应覆盖率。

u013367499的博客 1820

腾讯Flink实践:实时计算平台Oceanus建设历程

2019年4月1-2日,Flink Forward 2019 San Francisco会议在旧金山召开。Flink Forward会议邀请了来自Google, Uber, Netflix和Alibaba等公司在实时计算领域的顶尖专家和一线实践者,深入讨论了Flink社区的最新进展和发展趋势,以及Flink在业界的应用实践。随着近年来对Flink技术的广泛应用以及对Flink社区的活跃贡献,...

u011250186的博客 977

MCGS触摸屏数据记录与U盘导出配置全解析

在工业自动化现场,数据记录是设备运行状态分析与故障追溯的基础。HMI触摸屏作为人机交互核心,不仅承担实时监控任务,还负责过程数据的存储与导出。理解数据采集周期、存盘机制与存储介质的匹配原理,能帮助工程师高效配置数据记录功能。合理运用定时存盘、存盘组与U盘导出,可支撑设备趋势分析、报表生成及事故排查。本文以MCGS触摸屏为例,详解数据记录的完整组态流程,并汇总常见配置陷阱与排查思路,为现场调试与长期运维提供可落地的技术参考。

weixin_34253126的博客 470

如何在EasyCVR平台配置AI智能识别的微信端告警消息推送?

当AI检测到疑似异常或违规场景时,将通过主动预警推送的方式,对现场进行抓拍、保存、上传至平台,并将预警消息推送给相关管理人员。

EasyCVR视频融合云平台的技术博客 504

SECS/GEM EAP 设备自动化功能原理和设计方案

半导体SECS GEMEAP实现了对生产线上机台的实时监控,是工厂自动化不可缺少的控制系统。EAP系统与FAB中的机台紧密相关,系统的设计与开发必须与生产线的机台实际生产流程相一致,才能达到控制机台生产的目的。 EAP SECS/GEM是MES与设备的桥梁,EAP通过SECS国际标准协议与机台进行数据传输。SECS是半导体设备(半导体行业称设备为机台)必须遵循的一种国际通信协议。EAP就是通过SECS与设备通信、传输数据、发送指令控制设备按照预先定义........

semisecs 17万+

STM32H743必要外围电路分析

写在前面:这篇博客是我第一次绘制STM32最小系统板的过程记录。 2020-1-11 BOOT STM32采用ARM内核,和ARM处理器一样,都有专门的boot脚决定单片机从何处启动。 在官方数据手册的第105页,我们可以看到 系统复位后,在SYSTICK的第四个上升沿锁存BOOT引脚的值,复位后,BOOT引脚可以由用户自由配置而不会影响系统正常运行。 BOOT引脚决定了自举存储器地址,当BO...

Cui_Hongwei的博客 1万+

基于流计算 Oceanus(Flink) CDC 做好数据集成场景

作者:黄龙,腾讯 CSIG 高级工程师数据时代,企业对技术创新和服务水准的要求不断提高,数据已成为企业极其重要的资产。无论是在在企业数据中台的建设,亦或者是打造一站式数据开发和数据治理的P...

cloudbigdata的博客 3082

假新闻检测论文分享(25)L-DefenseExplainable Fake News Detection With Large Language Model

现有的假新闻检测工作主要集中在通过深度网络结合多种信息来学习假新闻的潜在特征,如可信度、立场、传播模式、额外知识、域外数据等。尽管他们在探测上取得了成功,但受限于他们的黑箱性质,他们无法提供任何对公众至关重要的理由。为解决这一问题,一些研究致力于可解释假新闻检测(EFND),旨在同时生成准确性预测和解释。许多工作通过注意力机制在相关报道中注意突出特别的单词、短语或句子来提供可解释性。然而,这些工作只发现了对最终预测有高贡献的区域,缺乏直观和可信的解释。

weixin_41964296的博客 732

阿里云 EventBridge 事件驱动架构实践

作者:周新宇 审核&校对:白玙、佳佳 编辑&排版:雯燕 本文内容整理自 中国开源年会 演讲 首先做一个自我介绍,我是 RocketMQ 的 PMC member 周新宇,目前负责阿里云 RocketMQ 以及 EventBridge 的产品研发。今天我的分享主要包括以下几部分: 消息与事件、微服务与事件驱动架构 阿里云 EventBridge:事件驱动架构实践 基于 RocketMQ 内核构建阿里云统一的事件枢纽  云原生时代的新趋势:Serverless+ 事件驱

阿里巴巴云原生的博客 2040

智能手表PCB布局:PPG与IMU传感器噪声隔离与应力解耦设计

在可穿戴设备硬件开发中,PCB布局已超越传统布线范畴,成为决定信号完整性、电磁兼容性与机械可靠性的核心环节。心率传感器(PPG)依赖微伏级光电容积脉搏波信号,极易受数字开关噪声与电源纹波干扰;姿态传感器(IMU)则对PCB弯曲形变引发的机械应力高度敏感。其布局需融合电磁场建模、热-力-电多物理协同及高密度互连约束。关键技术价值体现在噪声路径切断、地弹抑制、应力方向解耦与电源域隔离等工程实践。典型应用场景涵盖智能手表、医疗级贴片设备及微型运动传感终端。本文聚焦PPG与IMU两大模组在STM32L4平台上的实操

weixin_32869687的博客 175

[Dify] 如何构建一个带评分功能的 Dify AI 教练系统

本文介绍如何利用Dify开源平台构建具备自动评分功能的AI教练系统。系统通过Prompt设计AI教练角色,使用OpenAPI定义评分工具接口,结合工作流编排实现提问、回答收集、评分和反馈的全流程。文章详细讲解了从AI教练身份设定、多维度评分标准设计到前端可视化展示的实现方法,并提供了可扩展建议,适用于语言训练、面试模拟等多种场景。该系统展示了Dify平台在构建智能化评估应用方面的优势,实现零代码开发专业AI教练解决方案。

技术小甜甜:传播可落地技术,帮助个人和企业降低解决真实场景问题的成本 334

Java中实现消息告警推送的几种方式

消息告警推送是一种常见的功能,它用于在发生特定事件(如系统错误、性能下降或其他重要通知)时通知管理员或用户。

weixin_42564451的博客 2399

[Dify] -进阶13- 使用“知识库 + 工作流”打造智能推荐系统

本文介绍了在Dify平台上构建智能推荐系统的方法,重点阐述了知识库与工作流技术的结合应用。通过知识库管理RAG流程,实现文档上传、向量嵌入和检索优化;利用工作流设计节点化推荐逻辑,支持并行处理与条件分支。以电话销售话术推荐为例,展示了从数据收集到实时生成的完整流程。该方法具有准确性高、扩展性强、维护简便等优势,可广泛应用于各类推荐场景,实现从数据存储到智能推荐的闭环解决方案。

技术小甜甜:传播可落地技术,帮助个人和企业降低解决真实场景问题的成本 1069

MSRM3实现告警通知推送到用户的微信——方式1

MSRM3允许把告警通知推送到用户的的微信上,让用户第一时间了解设备的各类故障告警信息。 实现推送到微信,有两种方式:   1、使用 MSRM3官网提供的企业微信服务,实现告警消息推送到用户微信。   2、自建并配置自己的企业微信与本地的MSRM3控制台服务对接,实现消息推送到微信。   此文仅介绍方式1,即使用【MSRM3官网提供的企业微信服务】 步骤1:加入MSRM3企业微信号,并关注MSRM3企业号添加为企业联系人   要实现给主动给你推送消息通知,须你加入到MSRM3官网的企业微信..

u011527696的博客 1489

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Zabbix7.0(三)-推送问题告警到邮件、钉钉

本文详细介绍了如何配置Zabbix告警推送至钉钉和邮件的方法。主要内容包括:获取钉钉webhook、创建钉钉告警脚本、配置告警媒介类型(钉钉和邮件两种方式)、设置触发器动作以及用户告警方式。文章推荐优先使用钉钉接收告警,并提供了完整的脚本代码和配置步骤,同时针对邮件告警也给出了详细配置说明。通过本文指导,用户可以快速实现Zabbix监控告警的自动化推送,提高运维效率。

hanziqing的博客 2750

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

使用[KafkaStreams流计算框架实时计算产生报警(升级报警)

需求背景很简单,每秒钟采集一次设备数据,流计算框架需要对数据做处理,判断采集值超过100就产生报警,如果持续5分钟产生高报,持续10分钟产生高高报。流计算服务只负责产出报警到topic,下游服务负责监听topic后续处理。需要注意,当报警被处置后会向接收数据的主题发送处置信号,处置后需要重置这个设备的时间窗口,它对应的报警从新开始计算。实时计算报警,官方文档非常完善。

qq_47741012的博客 915

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

华为设备告警信息如何推送到自动化运维平台

华为设备告警推送自动化运维的三种方案:1. SNMPTrap方案(传统网管)通过配置SNMP版本、团体名和目标主机实现设备主动推送,需确保网络连通性。2. Syslog方案(日志分析)将告警发送至日志服务器,配置简单但需注意明文传输风险。3. 华为云服务联动(云化运维)通过IoTDA、AOM和SMN服务实现告警自动触发和通知,自动化程度高但需使用华为云平台。各方案需注意网络连通、信息过滤和安全性配置,实施后需进行告警触发测试验证。

2201_75459440的博客 1230

Oceanus:基于Apache Flink的一站式实时计算平台

Flink Forward是由Apache官方授权,用于介绍Flink社区的最新动态、发展计划以及Flink相关的生产实践经验的会议。2018年12月20日,Flink ...

腾讯技术工程 1055

实时监控:基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控

本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现,通过对云服务器(CVM)的机器系统信息及App应用信息采集来实现 CPU、内存及应用消耗JVM情况实时监控告警,通过短信、电话、微信消息等方式实现实时反馈,高效地保障系统稳健运行。通过运用云化的Kafka、Flink、ES等组件,大大减少了开发运维人员的投入。 1 解决方案描述 1.1 概述 本方案结合腾讯云 Ckafka、流计算 Oceanus、腾讯云数据库 Elasticsearch、腾讯云 Prometheus等,通过Filebeat实

cloudbigdata的博客 943

智能分析网关微信端告警消息推送的开发流程

后端接口返回微信端的链接,前端使用链接生成二维码。

TSINGSEE青犀视频官方技术博客 730

流式统计的几个难点

在本文发出之后不久,老外就写了一篇类似内容的。人家比我写得好,推荐大家读这篇http://radar.oreilly.com/2015/08/the-world-beyond-batch-streaming-101.... 流式统计听着挺容易的一个事情,说到底不就是数数嘛,每个告警系统里基本上都有一个简单的流式统计模块。但是当时...

weixin_33920401的博客 421
上一篇: 专家带你吃透 Flink 架构:一个新版 Connector 的实现
下一篇: 腾讯云原生实时数仓建设实践
腾讯云大数据
博客等级 码龄6年 348粉丝 220原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值