实时监控:基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控

2026年国产实时计算平台深度盘点:从Flink到自研实时数仓的选型指南 在数据驱动业务的时代,实时计算已成为企业数字化转型的关键技术。它通过处理无界数据流,实现秒级甚至毫秒级的数据洞察,广泛应用于实时风控、实时大屏、BI分析等场景。其核心原理涉及流式计算引擎(如Apache Flink)与实时数仓(如Doris、SelectDB)的协同,以及消息队列、数据湖等组件的深度融合。技术价值在于帮助企业从“事后分析”走向“实时决策”,显著提升业务响应速度。面对众多国产平台,选型需结合业务诉求、团队技术栈与信创要求,综合评估计算能力、查询性能、生态完整度与成本。本文基于对2026年市场的 阅读详情

作者:吴云涛,腾讯 CSIG 高级工程师

本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现,通过实时采集并分析云服务器(CVM)及其 App 应用的 CPU和内存等资源消耗数据,以短信、电话、微信消息等方式实时反馈监控告警信息,高效地保障系统稳健运行。运用云化的 Kafka、Flink、ES 等组件,大大减少了开发运维人员的投入。

1 解决方案描述

1.1 概述

本方案结合腾讯云 CKafka、流计算 Oceanus (Flink)、 Elasticsearch、Prometheus 等,通过 Filebeat 实时采集系统和应用监控数据,并传输到 CKafka,再将 CKafka 数据接入流计算 Oceanus (Flink),经过简单的业务逻辑处理输出到 Elasticsearch,最后通过 Kibana 页面查询结果。方案中利用 Promethus 监控系统指标,如流计算 Oceanus 作业运行状况,利用云 Grafana 监控 CVM 或业务应用指标。

在这里插入图片描述

1.2 方案架构

在这里插入图片描述

2 前置准备

在实现本方案前,请确保已创建并配置了相应的大数据组件。

2.1 创建私有网络VPC

私有网络(VPC)是一块您在腾讯云上自定义的逻辑隔离网络空间,在构建 CKafka、流计算 Oceanus,Elasticsearch 集群等服务时选择建议同一个 VPC。具体创建步骤请参考 帮助文档。

2.2 创建Ckafka实例

Kafka 建议选择最新的 2.4.1 版本,和 Filebeat 采集工具兼容性较好。
购买完成后,再创建Kafka topic: topic-app-info

2.3 创建流计算 Oceanus集群

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。
在流计算 Oceanus 控制台的【集群管理】->【新建集群】页面创建集群,具体步骤请参考 帮助文档。

2.4. 创建 Elasticsearch 实例

在 Elasticsearch 控制台,点击左上角【新建】创建集群,具体步骤请参考帮助文档

2.5 创建云监控Prometheus实例

为了展示自定义系统指标,需购买 Promethus 服务。只需要自定业务指标的同学可以省略此步骤。

进入云监控控制台,点击左侧 【Prometheus 监控】,新建 Promethus 实例,具体的步骤请参考帮助文档

2.6 创建独立Grafana资源

独立的Grafana在灰度发布中,需在Grafana管理页面进行单独购买,以实现业务监控指标的展示。

2.7 安装配置Filebeat

Filebeat 是一款轻量级日志数据采集的工具,通过监控指定位置的文件收集信息。在该 VPC 下给需要监控主机信息和应用信息的云服务器上安装 Filebeat。安装方式一:下载 Filebeat 并安装。Filebeat下载地址 ;方式二:采用【Elasticsearch管理页面】–>【beats管理】中提供的Filebeat。本示例中采用了方式一。
下载到CVM中并配置Filebeat,在filebeat.yml文件中提添加如下配置项:

# 监控日志文件配置
- type: log
  enabled: true
  paths:
    - /tmp/test.log
    #- c:\programdata\elasticsearch\logs\*
# 监控数据输出项配置
output.kafka:
  version: 2.0.0                         # kafka版本号
  hosts: ["xx.xx.xx.xx:xxxx"]            # 请填写实际的IP地址+端口
  topic: 'topic-app-info'                  # 请填写实际的topic

请根据实际业务需求配置相对应的 Filebeat.yml 文件,参考 Filebeat官方文档。

注:示例选用2.4.1的 Ckafka版本,这里配置version: 2.0.0。版本对应不上可能出现“ERROR [kafka] kafka/client.go:341 Kafka (topic=topic-app-info): dropping invalid message”错误

3 方案实现

接下来通过案例介绍如何通过流计算 Oceanus 实现个性化监控。

3.1 Filebeat采集数据

  1. 进入到 Filebeat 根目录下,并启动 Filebeat 进行数据采集。示例中采集了 top 命令中显示的 CPU、内存等信息,也可以采集 jar 应用的日志、JVM 使用情况、监听端口等,详情参考Filebeat官网。
# filebeat启动
./filebeat -e -c filebeat.yml

# 监控系统信息写入test.log文件
top -d 10 >>/tmp/test.log
  1. 进入 CKafka 页面,点击左侧【消息查询】,查询对应 topic 消息,验证是否采集到数据。

Filebeat 采集到的 Kafka 的数据格式:

{
	"@timestamp": "2021-08-30T10:22:52.888Z",
	"@metadata": {
		"beat": "filebeat",
		"type": "_doc",
		"version": "7.14.0"
	},
	"input": {
		"type": "log"
	},
	"host": {
		"ip": ["xx.xx.xx.xx", "xx::xx:xx:xx:xx"],
		"mac": ["xx:xx:xx:xx:xx:xx"],
		"hostname": "xx.xx.xx.xx",
		"architecture": "x86_64",
		"os": {
			"type": "linux",
			"platform": "centos",
			"version": "7(Core)",
			"family": "redhat",
			"name": "CentOSLinux",
			"kernel": "3.10.0-1062.9.1.el7.x86_64",
			"codename": "Core"
		},
		"id": "0ea734564f9a4e2881b866b82d679dfc",
		"name": "xx.xx.xx.xx",
		"containerized": false
	},
	"agent": {
		"name": "xx.xx.xx.xx",
		"type": "filebeat",
		"version": "7.14.0",
		"hostname": "xx.xx.xx.xx",
		"ephemeral_id": "6c0922a6-17af-4474-9e88-1fc3b1c3b1a9",
		"id": "6b23463c-0654-4f8b-83a9-84ec75721311"
	},
	"ecs": {
		"version": "1.10.0"
	},
	"log": {
		"offset": 2449931,
		"file": {
			"path": "/tmp/test.log"
		}
	},
	"message": "(B[m16root0-20000S0.00.00:00.00kworker/1:0H(B[m[39;49m[K"
}

3.2 创建 Flink SQL 作业

使用流计算 Oceanus 对 CKafka 接入的数据进行加工处理,并存入 Elasticsearch。

1. 定义source

按照 Filebeat 中 json 消息的格式,构造 Flink Table Source。

 CREATE TABLE DataInput (
     `@timestamp` VARCHAR,
     `host`       ROW<id VARCHAR,ip ARRAY<VARCHAR>>,
     `log`        ROW<`offset` INTEGER,file ROW<path VARCHAR>>,
     `message`    VARCHAR
 ) WITH (
     'connector' = 'kafka',   -- 可选 'kafka','kafka-0.11'. 注意选择对应的内置  Connector
     'topic' = 'topic-app-info',  -- 替换为您要消费的 Topic
     'scan.startup.mode' = 'earliest-offset', -- 可以是 latest-offset / earliest-offset / specific-offsets / group-offsets 的任何一种
     'properties.bootstrap.servers' = '10.0.0.29:9092',  -- 替换为您的 Kafka 连接地址
     'properties.group.id' = 'oceanus_group2',  -- 必选参数, 一定要指定 Group ID
     -- 定义数据格式 (JSON 格式)
     'format' = 'json',
     'json.ignore-parse-errors' = 'true',     -- 忽略 JSON 结构解析异常
     'json.fail-on-missing-field' = 'false'   -- 如果设置为 true, 则遇到缺失字段会报错 设置为 false 则缺失字段设置为 null
 );

2. 定义sink

CREATE TABLE es_output (
    `id` VARCHAR,
    `ip` ARRAY<VARCHAR>,
    `path` VARCHAR,
    `num` INTEGER,
    `message` VARCHAR,
    `createTime` VARCHAR
) WITH (
    'connector.type' = 'elasticsearch', -- 输出到 Elasticsearch
    'connector.version' = '6',          -- 指定 Elasticsearch 的版本, 例如 '6', '7'. 
    'connector.hosts' = 'http://10.0.0.175:9200',  -- Elasticsearch 的连接地址
    'connector.index' = 'oceanus_test2',       -- Elasticsearch 的 Index 名
    'connector.document-type' = '_doc',  -- Elasticsearch 的 Document 类型
    'connector.username' = 'elastic',  
    'connector.password' = 'yourpassword', 
    'update-mode' = 'upsert',            -- 可选无主键的 'append' 模式,或有主键的 'upsert' 模式     
    'connector.key-delimiter' = '$',     -- 可选参数, 复合主键的连接字符 (默认是 _ 符号, 例如 key1_key2_key3)
    'connector.key-null-literal' = 'n/a',  -- 主键为 null 时的替代字符串,默认是 'null'
    'connector.failure-handler' = 'retry-rejected',   -- 可选的错误处理。可选择 'fail' (抛出异常)、'ignore'(忽略任何错误)、'retry-rejected'(重试)

    'connector.flush-on-checkpoint' = 'true',   -- 可选参数, 快照时不允许批量写入(flush), 默认为 true
    'connector.bulk-flush.max-actions' = '42',  -- 可选参数, 每批次最多的条数
    'connector.bulk-flush.max-size' = '42 mb',  -- 可选参数, 每批次的累计最大大小 (只支持 mb)
    'connector.bulk-flush.interval' = '60000',  -- 可选参数, 批量写入的间隔 (ms)
    'connector.connection-max-retry-timeout' = '1000',     -- 每次请求的最大超时时间 (ms)
    --'connector.connection-path-prefix' = '/v1'          -- 可选字段, 每次请求时附加的路径前缀                                                        
    'format.type' = 'json'        -- 输出数据格式, 目前只支持 'json'
);

3. 加工业务数据

INSERT INTO es_output
SELECT 
host.id as `id`,
host.ip as `ip`,
log.file.path as `path`,
log.`offset` as `num`,
message,
`@timestamp` as `createTime`
from DataInput;

4. 配置作业参数

【内置connector】选择flink-connector-elasticsearch6和flink-connector-kafka

注: 根据实际版本选择

5. 查询 ES 数据

在 ES 控制台的 Kibana 页面查询数据,或者进入某台相同子网的 CVM 下,使用以下命令进行查询:

# 查询索引  username:password请替换为实际账号密码
curl -XGET -u username:password http://xx.xx.xx.xx:xxxx/oceanus_test2/_search -H 'Content-Type: application/json' -d'
{
    "query": { "match_all": {}},
    "size":  10
}
'

更多访问方式请参考 访问ES集群。

3.3 系统指标监控

本章节主要实现系统信息监控,对 Flink 作业运行状况进行监控告警。

Prometheus 是一个非常灵活的时序数据库,通常用于监控数据的存储、计算和告警。流计算 Oceanus 建议用户使用腾讯云监控提供的 Prometheus 服务,以免去部署、运维开销;同时它还支持腾讯云的通知模板,可以通过短信、电话、邮件、企业微信机器人等方式,将告警信息轻松触达不同的接收方。

监控配置

流计算 Oceanus 作业监控

除了流计算 Oceanus 控制台自带的监控信息,还可以配置目前已经支持了任务级细粒度监控、作业级监控和集群 Flink 作业列表监控。

  1. 流计算 Oceanus 作业详情页面,点击【作业参数】,在【高级参数】处添加如下配置:

    pipeline.max-parallelism: 2048
    metrics.reporters: promgateway
    metrics.reporter.promgateway.host: xx.xx.xx.xx              # Prometheus实例地址 
    metrics.reporter.promgateway.port: 9090                     # Prometheus实例端口
    metrics.reporter.promgateway.needBasicAuth: true
    metrics.reporter.promgateway.password: xxxxxxxxxxx          # Prometheus实例密码
    metrics.reporter.promgateway.interval: 10 SECONDS
    
  2. 在任一流计算 Oceanus 作业中,点击【云监控】进入云 Prometheus 实例,点击链接进入Grafana(灰度中的 Grafana 不能由此进入),导入 json 文件,详情请参见 接入Prometheus自定义监控。

在这里插入图片描述

  1. 展现出来的 Flink 任务监控效果如下,用户也可以点击【Edit】设置不同 Panel 来优化展现效果。
    在这里插入图片描述

告警配置

  1. 进入腾讯云监控界面,点击左侧【Prometheus 监控】,点击已购买的实例进入服务管理页面,点击左侧【告警策略】,点击【新建】,配置相关信息。具体操作参考 接入Prometheus自定义监控。
    在这里插入图片描述

  2. 设置告警通知。选择【选择模版】或【新建】,设置通知模版。
    在这里插入图片描述

  3. 短信通知消息
    在这里插入图片描述

3.4 业务指标监控

通过 Filebeat 采集到应用业务数据,经过流计算 Oceanus 服务进行数据的加工处理并存入 ES,利用 ES + Grafana 来实现业务数据的监控。

  1. Grafana 配置 ES 数据源。进入灰度发布中的Grafana控制台,进入刚刚创建的 Grafana 服务,找到外网地址打开并登录,Grafana 账号为 admin,登录后点击【Configuration】,点击【Add Source】,搜索elasticsearch,填写相关 ES 实例信息,添加数据源。 在这里插入图片描述

  2. 点击左侧【Dashboards】,点击【Manage】,点击右上角【New Dashboard】,新建面板,编辑面板。 在这里插入图片描述

  3. 展现效果如下:

  • 总数据量写入实时监控:对写入数据源的总数据量进行监控;
  • 数据来源实时监控:对来源于某个特定log的数据写入量进行监控;
  • 字段平均值监控:对某个字段的平均值进行监控;
  • num字段最大值监控:对num字段的最大值进行监控;

在这里插入图片描述

注:本处只做示例,无实际业务

4 总结

本方案中对系统监控指标和业务监控指标2种监控方案都进行尝试。若只需要对业务指标进行监控,可省略 Promethus 相关操作。

此外,需要注意的是:

  1. CKafka 的版本和开源版本 Kafka 并没有严格对应,方案中 CKafka2.4.1和开源 Filebeat-1.14.1版本能够调试成功。
  2. 云监控中的 Promethus 服务已经嵌入了 Grafana 监控服务。但不支持自定义数据源,该嵌入的 Grafana 只能接入 Promethus,需使用独立灰度发布的 Grafana 才能完成ES数据接入 Grafana。

流计算 Oceanus 限量秒杀专享活动火爆进行中↓↓在这里插入图片描述
​

在这里插入图片描述

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

​

Flink项目实战篇 基于Flink的城市交通监控平台(下) Flink项目实战篇 基于Flink的城市交通监控平台(上)Flink项目实战篇 基于Flink的城市交通监控平台(下) 阅读详情

相关推荐

【Flink】Flink 任务实时监控

1.概述 转载:Flink 任务实时监控最佳实践 我们都知道 Flink 任务是一个 7*24 小时不停运行的任务,所以对于任务的实时监控就显得尤为重要,因为任务运行的状态对于我们来说是一个黑盒,比如任务是否挂掉,是否存在反压,使用的内存,CPU 等情况我们是不知道的,虽然 Flink 的 UI 上面可以添加相关的 metrics 来查看,但是需要手动的一个一个添加,还是比较麻烦的,特别是在任务非常多的情况下.所以就需要有一种统一的监控方案来解决这个问题.Flink 本身提供了非常丰富的 Metric Re

九师兄 7046

【基于Flink的城市交通实时监控平台】需求四:车辆违法路径跟踪-使用FlinkSQL在Dlink写入HBase

通过Kafka发送模拟实时车辆JSON信息给Flink接收,FlinkSQL将实时车辆JSON信息与表中已经捕捉到的违规违章车辆做连接对比,选择出通过当前路段的违章记录车辆,将其存入HBase中。本次需求四案例,将基于当前模拟了两辆车在表中,稍后启动Kafka Topic-car时,只有在该表中的车,会被记录到HBase。

qq_31412425的博客 635

【信息科学与工程学】【数据科学】 第四十四篇 数据湖 系列一 数据湖的机制及特性7

功能清单:静态/传输/动态加密、RBAC/ABAC、行列级权限、动态脱敏、差分隐私、MPC、联邦学习、审计日志、GDPR/PIPL合规、国密算法。国产化·信创+商用(NVIDIA/AMD/Intel/Mellanox/其他国外厂商)芯片的CPU/GPU/ASIC/DPU/RAID卡/内存/SSD/其他芯片及各类硬件及对应指令集的情况及指令集调用集优化情况(提供详细的代码和算法的详细设计,基础环境配置、初级配置、高级配置、特性优化方法列表及对应配置,代码的高级优化方法和并发设计和并行计算设计)

weixin_49199313的博客 55

最好用的flink监控平台是什么?

Flink自带的监控平台是一个很好的选择,它提供了详细的任务运行信息和性能指标。此外,还有一些第三方监控平台也可以用来监控Flink作业,例如Prometheus + Grafana、DataDog、Zabbix等。这些监控平台可以提供更丰富的可视化功能和报警功能。 ...

weixin_35749440的博客 289

基于 Apache Flink 的实时监控告警系统

点击上方“zhisheng”,选择“设为星标”后台回复”666“获取公众号专属资料本文首发自本人的知识星球《Flink 精进学习》,文末点击阅读原文可以查看对应讲解的视频在如今微服务、云...

http://www.54tianzhisheng.cn/ 8032

从 0 到 1 搭建一套 Flink 的监控系统

点击上方“zhisheng”,选择“设为星标”后台回复"666",获取新资料之前讲解了 JobManager、TaskManager 和 Flink Job 的监控,以及...

http://www.54tianzhisheng.cn/ 7451

数据分析小结:使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换

作者:吴云涛,腾讯 CSIG 高级工程师 在这个数据爆炸的时代,企业做数据分析也面临着新的挑战, 如何能够更高效地做数据准备,从而缩短整个数据分析的周期,让数据更有时效性,增加数据的价...

cloudbigdata的博客 4847

如何搭建一套完整的 Flink 监控系统?

8.1 节中讲解了 Job Manager、Task Manager 和 Flink Job 的监控,以及需要关注的监控指标有哪些。本节带大家讲解一下如何搭建一套完整的 Flink 监控系统,如果你所在的公司没有专门的监控平台,那么可以根据本节的内容来为公司搭建一套属于自己公司的 Flink 监控系统。 利用 API 获取监控数据 熟悉 Flink 的朋友都知道 Flink 的 UI 上面已经详细...

http://www.54tianzhisheng.cn/ 1486

流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

令 Flink 与 ClickHouse 各取所长,构造高质量、高效率、面向未来的数仓平台。

cloudbigdata的博客 4406

我想自己组装一台服务器,微调大模型通义千问2.5 Omni 72B,但是我是个人购买,资金非常有限,最省的方案

阶段动作✅ 推理用 GGUF + llama.cpp + 4090 加载 14B INT4✅ 微调训练 Qwen2.5-7B-Chat,使用 LoRA / QLoRA❌ 放弃Qwen2.5-Omni-72B 全量微调(显存需求 >160G,不现实)

AngelCryToo的专栏 2830

基于USB总线的虚拟摄像头(UVC)原理简介

前面文章中我们分析了虚拟声卡的实现,在文章中我们展示了创建一个虚拟麦克风和虚拟扬声器的技术原理。完成了音频的虚拟化之后,这里就要谈论一下对于视频的虚拟化了——虚拟摄像头的实现。关于虚拟麦克风和虚拟扬声器的实现,可以参考。虚拟摄像头应用也是非常普遍的,例如云桌面远程摄像头的实现,直播技术。目前对于虚拟摄像头有三种实现方式:DirectShow虚拟摄像头,这个是一种比较古老的技术;在新版本应用中,该项技术基本失效了,尤其是UWP框架程序,DirectShow虚拟摄像头就失效了。

tianxilink的博客 5418

2026年文本内容安全服务选型指南:腾讯云TMS、阿里云绿网、华为云Moderation深度对比

内容安全是保障在线平台健康发展的核心技术,其核心原理是通过AI模型对文本进行智能识别与风险判定。随着多模态大模型和行业大模型的成熟,现代内容安全服务已从简单的关键词过滤,演进为具备深度语义理解和上下文分析能力的综合性解决方案。这项技术的核心价值在于,它不仅能帮助产品满足全球不同市场的合规要求,更能主动保护品牌声誉、维护社区氛围,从而直接支撑业务的可持续增长。其典型应用场景广泛覆盖高互动的UGC社区、交易导向的电商平台以及复杂的企业出海业务。在实际工程实践中,服务选型需重点评估AI模型的深度与广度、策略引擎的

weixin_30617737的博客 403

5个IO口驱动188数码管:查理复用算法在TM52F1363上的极致应用

本文深入解析了如何利用查理复用算法,在TM52F1363单片机上仅用5个IO口驱动188数码管。通过精密的硬件连接与软件时序控制,结合高阻态和动态扫描策略,实现了在极致资源限制下的稳定显示,为成本敏感型嵌入式产品提供了高效的IO复用解决方案。

numpy6sculptor的博客 481

Flink项目实战篇 基于Flink的城市交通监控平台(上)

近几年来,随着国内经济的快速发展,高速公路建设步伐不断加快,全国机动车辆、驾驶员数量迅速增长,交通管理工作日益繁重,压力与日俱增。为了提高公安交通管理工作的科学化、现代化水平,缓解警力不足,加强和保障道路交通的安全、有序和畅通,减少道路交通违法和事故的发生,全国各地建设和使用了大量的“电子警察”、“高清卡口”、“固定式测速”、“区间测速”、“便携式测速”、“视频监控”、“预警系统”、“能见度天气监测系统”、“LED信息发布系统”等交通监控系统设备。

moments的博客 3886

YOLOv8模型RKNN量化策略与RK3588部署实战解析

本文详细解析了YOLOv8模型在RK3588平台上的RKNN量化策略与部署实践。通过对比INT8和FP16量化方式的性能差异,结合实际测试数据,为开发者提供了从模型导出、转换到板端部署的完整解决方案,帮助实现高效的边缘AI应用部署。

oil88的博客 1117

Ollama最新快速上手指南:从安装到精通本地AI模型部署

想让Ollama跑你的"私房模型"?三种主流格式全支持,总有一款适合你!GGUF格式(推荐新手首选)创建Modelfile文件:执行创建命令:运行你的专属模型:PyTorch/Safetensors格式(适合进阶玩家)先用库测试模型能否正常加载确保模型结构完整后再导入Ollama官方文档有详细转换指南专业小贴士GGUF格式最轻量,PyTorch最灵活,Safetensors最安全遇到问题?试试用llama.cpp进行格式转换7B参数模型推荐使用q4_0量化级别想让AI用马里奥。

全世界的博客 2313

Flink 实践教程:进阶(4):TOP-N

TopN ?SQL就能搞定!

cloudbigdata的博客 1799

YOLOv11模型改进-模块-引入特征细化模块FRFN 解决小目标、遮挡等问题

FRFN 是一种专门设计的深度学习结构,旨在提高图像处理任务中的特征表示能力。它的核心设计理念是通过逐层细化和优化特征图,从而实现更高的分类和检测精度。1. 特征提取层:通过卷积层提取初始特征,并进行批量归一化以增强稳定性。2. 特征细化模块:在每个模块中,当前层特征图与前一层特征图进行融合,以强化特征表示。3. 跳跃连接:通过跳跃连接保留多尺度信息,帮助缓解深层网络中的信息丢失。4. 非线性激活:使用激活函数(如ReLU)增加模型的非线性能力。5. 输出层。

qq_64693987的博客 3339

Flink的实时监控和警报系统

1.背景介绍 Flink是一个流处理框架,用于处理大规模数据流。它提供了实时计算和流处理功能,可以用于实时分析和监控。在大数据场景中,Flink的实时监控和警报系统非常重要,可以帮助我们快速发现问题并采取措施。 Flink的实时监控和警报系统包括以下几个方面: 流处理任务的监控:包括任务的执行状态、性能指标、错误日志等。 数据流的监控:包括数据流的速度、数据量、数据质量等。 警报系统:包括...

AI天才研究院 2492

【算能】TPU(张量处理单元)的深度解析

算能(SOPHGO)作为国产AI芯片领域的核心企业,其TPU(张量处理单元)以高能效比与全场景覆盖能力为核心竞争力,专注于边缘计算与行业垂直领域的AI推理加速。

浩瀚之水的专栏 1550

7、农业市场价格预测与K-Means聚类算法的综合研究

本文综合研究了农业市场价格预测与K-Means聚类算法的原理、应用及拓展。在农业领域,基于历史数据和供应信息的价格预测模型可为农民、政府和金融机构提供决策支持;在数据处理领域,K-Means算法通过合理选择初始质心和距离度量方法,实现高效聚类分析。文章还探讨了两种技术面临的挑战与解决方案,并展望了其在大数据、人工智能融合背景下的未来发展趋势,展示了跨领域技术协同的应用潜力。

ujm56789012的博客 67

SIGMOD 2025|腾讯 Oceanus 开创云原生流计算弹性新纪元

对于服务型应用,在传统的资源调整过程中,随着资源规模的增大,由于资源申请、任务部署等阶段耗时的线性增大,其重启代价将逐步提高,服务可用性将受到更大的影响,而 Oceanus 运行时资源调整方案可以实现服务无损进行资源调整,保持服务的可用性。对于数据处理型应用,资源调整重启任务时,会从持久化的状态位点回溯部分数据,引起短期的流量波动,并且存在数据处理断流情况,而 Oceanus 能够有效解决该问题,在不影响正常的数据处理,保证流量稳定的前提下,实现资源的动态调整。

腾讯开源 486

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

flink任务监控- 利用Grafana和Prometheus实现实时计算平台任务监控

简介 最近负责公司基于flink实时计算平台的基本任务监控,包括重启通知,失败监控,一些关于flink 在pushgateway 上exported_job信息上报便于最后删除 pushgateway上的信息避免重复告警等,其实开始想的也是在网上找,没有找到,现在就总结一下自己的做法。第一次写博文不合理之处大家多多理解。 修改flink的flink-conf.yaml配置文件 具体配置讲解网上很多不赘述了 metrics.reporter.promgateway.class: org.apache.fli

baidu_29559021的博客 6695

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

如何基于 Flink 与 TensorFlow 构建实时智能异常检测平台?

Flink 已经渐渐成为实时计算引擎的首选之一,从简单的实时 ETL 到复杂的 CEP 场景,Flink 都能够很好的驾驭。本文整理自携程实时计算负责人潘国庆在 QCon 全球软件开发大会(北京站)2019 的演讲,他介绍了携程如何基于 Flink 与 TensorFlow 构建实时智能异常检测平台,以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题,实现了业务指标毫秒级延迟...

Pythoncxy的博客 1570
上一篇: 流计算 Oceanus 限量1元秒杀,立省2000元
下一篇: 指标统计:基于流计算 Oceanus(Flink) 实现实时 UVPV 统计
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值