流计算 Oceanus 操作效率提升指南(一)

腾讯Oceanus实时计算平台架构设计 腾讯Oceanus实时计算平台架构设计—学习总结 一、背景 实时计算应用主要分为以下四类: (1)ETL:ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中,TDSort读取消息缓存系统Tube中的消息,通过流数据处理系统将消息队列中的数据进行实时分拣,并落地到HDFS接口机集群,并将最终分拣后的数据由加载到TDW中。 (2) 监控系统: 监控系统需要能够对产品和服务进行多维度的监控,对指标数据进行实时的聚合和分析,并支持方便灵活的报警规则设置。 (3)实时BI:及时运营策略。 (4 阅读详情

作者:李贤雨,腾讯 CSIG 工程师

批量操作

功能简介

为了避免用户机械重复地对作业进行某一类操作,Oceanus 平台支持五种快捷高效的批量操作。分别是批量启动、停止、删除、创建副本、移动。操作入口如下图。

5df516616b3148264cc662e18040604f.png

操作示例

批量操作包含三个步骤。

➢ 步骤一:点击批量操作入口;

➢ 步骤二:选择需要批量操作的作业;

➢ 步骤三:确认提交批量操作(其中,批量移动需要选择目标目录,批量创建副本需要选择目标集群);

758d53487d562693991658f044df715e.png

注意事项

  • 批量启动的作业状态必须是已停止;

  • 批量停止的作业状态必须是运行中;

  • 批量删除的作业状态非运行中、非操作中;

  • 批量删除操作对象包含作业和文件夹两种;

  • 批量功能目前支持的上限为100条数据;

快捷操作

支持按住 Shift 键进行快捷多选。

85d25c90ac01233c9059421b02c2a530.png

作业分类

功能简介

目前作业支持三种分类:按目录、按集群、按时间。

  • 按目录,用户可以根据作业功能类型等对作业进行分类;

  • 按集群,用户可以按集群精确查看某一集群中的所有作业,配合批量操作时将会很实用;

  • 按时间,可以清晰的查看作业创建的历史节点;

操作示例

以时间分类为例:

ffb7b41970d13d7a9cf8f9936ed0a130.png

作业筛选

功能简介

在实际案例中,客户会有成百上千的作业,所以筛选功能是必要的。目前支持三种类型的筛选,作业类型、运行状态、集群可用区。

  • 作业类型,包含全部、SQL、JAR、ETL、Python;

  • 运行状态,包含全部、未初始化、未发布、操作中、运行中、停止、故障;

  • 集群可用区,具体的可用区根据地域有所不同;

操作示例

以运行状态为运行中为例:

2dd5d06d53eaaee27de029e851cd601e.png

作业概览

功能简介

作业概览展示了不同作业类型中,运行中和停止两种重要状态的作业数量。这里的统计数字还有一个妙用:点击数字,目录会自动过滤匹配出当前条件下的所有作业。

操作示例

点击1区,将在区域2显示匹配当前类型、状态的所有作业。

77ee6740c73a85318adf5d80ea41a7e8.png

作业基本信息

功能简介

在不进入作业详情的前提下快捷查看作业的部分基本信息。

操作示例

鼠标移动到1区,将在区域2弹框显示作业基本信息,用户可以快速查看作业基本信息。

36a27c5252db0930faac8aa7311321ac.png

更多 Oceanus 最佳实践以及入门指引参见我们的 专栏文章,最后欢迎大家猛戳 一元购 试用 Oceanus,机不可失时不再来:)

2024年腾讯云TCCP认证考试证书,怎么快速通过? 针对已自建完整CI/CD工作流的企业级客户,容器镜像服务也支持配置自定义触发器,可实现与自建的持续交付系统的对接,将容器镜像服务平滑纳入现有的业务开发流程中。部署和启动Agent的方式与master服务器完全相同(同样需要修改agent.toml中的secret id和secret key) , 因新建任务的时候已经指定了master服务器, 新加入的agent均被作为Worker节点与master服务器通信获得任务。它是由任意长度的消息和在发送者和接受者中间共享的密钥生成的。 阅读详情

相关推荐

oceanus架构

58同城的分布式数据库中间件架构设计与实现的介绍

SIGMOD 2025|腾讯 Oceanus 开创云原生流计算弹性新纪元

对于服务型应用,在传统的资源调整过程中,随着资源规模的增大,由于资源申请、任务部署等阶段耗时的线性增大,其重启代价将逐步提高,服务可用性将受到更大的影响,而 Oceanus 运行时资源调整方案可以实现服务无损进行资源调整,保持服务的可用性。对于数据处理型应用,资源调整重启任务时,会从持久化的状态位点回溯部分数据,引起短期的流量波动,并且存在数据处理断流情况,而 Oceanus 能够有效解决该问题,在不影响正常的数据处理,保证流量稳定的前提下,实现资源的动态调整。

腾讯开源 486

LVGL在RTOS下的线程安全实践:从卡死到流畅的界面切换

本文探讨LVGL在RTOS环境下的线程安全实践,重点分析FreeRTOS多任务同步机制,包括互斥锁、任务通知和消息队列方案。通过实际案例展示如何避免界面卡顿和系统死锁,实现从卡死到流畅的界面切换,为嵌入式GUI开发提供可靠的适配解决方案。

uran的专栏 1113

腾讯云流计算 Oceanus:新版弹性方案,助力实时业务降本超30%

流计算 Oceanus 通过提供弹性伸缩、细粒度资源配置、完善的监控、告警、事件和日志功能等多种降本措施,帮助客户显著降低资源成本,并提升运维效率。

cloudbigdata的博客 593

synopsys工具安装系列(一)安装installer

synopsys为eda工具安装,提供了一个安装器,名叫installer。所以,首先要先安装installer这个工具,之后才能安装其他的eda工具。 首先从官网下载该installer工具。我这里下载的是5.2版本 下载之后,有如下安装文件。 将该安装包,拷贝到linux服务器中。 首先给SynopsysInstaller_v5.2.run赋予可执行权限。 chmod a+x SynopsysInstaller_...

weiqi7777的博客 8395

Carla-编译CarlaUE4提示HoloLens.Automation项目缺少Windows程序集?

编译CarlaUE4提示HoloLens.Automation项目缺少Windows程序集?不妨看看这个!

DSK_981029的博客 2573

腾讯Oceanus实时计算平台架构设计---学习总结

一、背景 实时计算应用主要分为以下四类: (1)ETL:ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中,TDSort读取消息缓存系统Tube中的消息,通过流数据处理系统将消息队列中的数据进行实时分拣,并落地到HDFS接口机集群,并将最终分拣后的数据由加载到TDW中。 (2) 监控系统: 监控系统需要能够对产品和服务进行多维度的监控,对指标数据进行实时的聚合和分析,并支持...

流的博客 7070

【C++/嵌入式梳理】bootloader

【C++/嵌入式笔试面试八股】bootloader

Hi 1212

oceanus mysql_Oceanus:基于Apache Flink的一站式实时计算平台

相比于Storm和其他一些流计算框架,Flink有着更先进的计算框架,具有以下几点优势:1)首先,Flink提供了更友好的编程接口。Storm提供的API偏底层且过于简单,用户需要大量的开发工作来完成业务需求。另外,用户在开发Storm程序时的学习成本也较高,需要熟悉框架原理和在分布式环境下的执行细节。Flink除了提供Table API和SQL这些高级的声明式编程语言之外,还对window这些流...

weixin_39759060的博客 211

【Flutter 问题系列第 85 篇】Xcode 运行 Flutter 提示 The Dart VM Service was not discovered after 60 seconds.

在 Xcode 上运行 Flutter 时提示 `The Dart VM Service was not discovered after 60 seconds. This is taking much longer than expected...`,意思是 `60秒后未发现Dart虚拟机服务。这比预期的要长得多`

“Allen Su”的博客 2242

Spring AI 实战:如何使用 MCP Server 搭建 MCP 天气查询服务

MCP(Model Context Protocol)是 Anthropic 提出的一种开放协议,它定义了AI 模型与外部世界交互的标准方式。通俗地说:大模型本身只拥有训练数据中的知识,它不知道今天的天气、无法查询你的数据库、不能调用你的内部 API。MCP 就是解决这个问题的"桥梁"——它让模型能够发现并使用外部工具(Tools),就像人用手去操作工具一样。角色职责对应依赖MCP Server暴露工具(Tool),供模型调用MCP Client连接 Server,让模型发现和使用工具本文我们先聚焦。

SmartSi 764

流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

令 Flink 与 ClickHouse 各取所长,构造高质量、高效率、面向未来的数仓平台。

cloudbigdata的博客 4406

28、时间敏感网络中可靠性感知的综合路由与调度

本文针对时间敏感网络(TSN)中现有路由与调度机制主要关注时间触发(TT)流量而忽略其他类型流量效用的问题,提出了一种可靠性感知的综合路由与调度机制。通过将具有不同可靠性和延迟要求的各类流量的联合路由与调度问题形式化为基于优化模理论(OMT)的混合整数规划问题,设计了完整的路由约束与调度约束,并分析了不同类型流量的传输效用,设定了优化目标以提升整体网络性能。实验结果表明,该机制在满足TT流量严格时延与可靠性要求的同时,显著提高了AVB和BE等非关键流量的传输效用,实现了多类型流量的高效协同传输。

hhh00的博客 96

Oceanus:基于Apache Flink的一站式实时计算平台

Flink Forward是由Apache官方授权,用于介绍Flink社区的最新动态、发展计划以及Flink相关的生产实践经验的会议。2018年12月20日,Flink ...

腾讯技术工程 1055

Spring AI Alibaba实战训练营-28 手把手教你用SAA+ Nacos 构建分布式 MCP 应用

本文介绍如何使用Spring AI Alibaba和Nacos构建分布式MCP应用,实现AI模型与工具服务的动态发现和调用。主要内容包括:1) 项目架构设计,包含MCP Server、Nacos注册中心和MCP Client三个核心组件;2) 环境准备要求,如Java 17+、Maven 3.6+、Nacos 3.1.0+等;3) 详细实施步骤:启动Nacos服务、注册MCP服务端、配置MCP网关聚合服务、设置MCP客户端发现机制。通过这种架构,开发者可以轻松扩展新工具服务,无需修改客户端代码,实现服务动态

program哲学 311

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

腾讯云流式湖仓统一存储实践

点击蓝字⬆ 关注我们本文共计5107 预计阅读时长16分钟*本文将分享腾讯云流式湖仓的架构与实践。主要内容包括:流计算Oceanus介绍腾讯云流式湖仓架构腾讯云流式湖仓实践腾讯云流式湖仓发展规划一、流计算Oceanus介绍随着大数据技术的发展,客户对实时处理与分析需求日益增长,实时数据分析已成为驱动业务创新、提升竞争力的关键要素。传统批处理方式存在时效性差、数据孤岛、难以扩展等问题,因此需要实时计...

cloudbigdata的博客 1318

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

腾讯智慧零售日化行业数字化解决方案:全链路赋能生意增长与效率提升

针对日化行业增长乏力、竞争激烈、消费者偏好差异及渠道数字化加速下的用户资产分散、实时订单分析难、经营分析低效、开发安全与效率矛盾、办公安全风险等痛点,部署涵盖消费者全生命周期管理(CDP+AB实验等)、实时订单分析(流计算Oceanus等组合)、经营报表分析(WeData+腾讯云BI)、开发安全(Xcheck+CODING DevSecOps)、办公安全(零信任iOA+企微防泄密)及业务创新与AI提效(大模型知识引擎、企点分析AI助手、AI代码助手)的全链路方案。

search_agent的博客 352

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

大数据平台是否更应该容器化?

大数据的发展历史 大数据技术起源于Google在2004年前后发表的三篇论文,分布式文件系统GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable,熟称"三驾马车"。在论文发表后,Lucene开源项目的创始人Doug Cutting根据论文原理初步实现了类似GFS和MapReduce的功能。并在2006年,将该部分功能设置成独立的项目即大名鼎鼎的Hadoop项目。Hadoop项目中主要包括分布式文件系统HDFS和大数据计算引擎MapReduce两个组件。 图片来源于网络...

u011250186的博客 809

【直播预告】大模型时代,腾讯云大数据的升级之路

如何突破Lambda架构的不足?读写分离 + 存算分离架构融合升级大模型 Spark 语料数据预处理最佳实践RAG从生成到端到端落地大模型如何实现 SQL 排错和解释?如何增强数据血缘分析能力?9月28日,14:00-16:00,腾讯云大数据的多位嘉宾,将分享大模型时代,腾讯云大数据在流式湖仓、ES、大模型、RAG、数据治理等方面的最新进展。感兴趣的小伙伴,欢迎识别二维码,免费报名收看直播:...

cloudbigdata的博客 326

flink 三种时间机制_基于Flink的高可靠实时ETL系统

GIAC(GLOBAL INTERNET ARCHITECTURE CONFERENCE)是长期关注互联网技术与架构的高可用架构技术社区和msup推出的,面向架构师、技术负责人及高端技术从业人员的年度技术架构大会,是中国地区规模最大的技术会议之一。今年的第六届GIAC大会上,在大数据架构专题,腾讯数据平台部实时计算负责人施晓罡发表了《基于Flink的高可靠实时ETL系统》的主题演讲。以下...

weixin_28786857的博客 379

基于Flink的高可靠实时ETL系统

GIAC(GLOBAL INTERNET ARCHITECTURE CONFERENCE)是长期关注互联网技术与架构的高可用架构技术社区和msup推出的,面向架构师、技术负责人及高端技术...

腾讯技术工程 1921

腾讯智慧零售饮食行业数字化解决方案:以AI与云基座驱动全域增长

## **洞察行业转型痛点** 食饮行业整体增长**0.4%**,线下近场小业态(小超市+3%、便利店+2%)复苏,线上呈多元化发展(直播电商增长**61.8%**,即时零售占现代渠道**8.3%**份额)(数据来源:国家统计局,尼尔森,专家访谈)。企业面临核心瓶颈: - **数字化转型滞后**:消费者洞察与沟通不足,缺乏顶层规划(案例:某品牌长期线下生意占比高,数字化进展慢); - **渠道

search_agent的博客 422

大数据组件 in K8S

作者颜卫,腾讯高级后台开发工程师,专注于Kubernetes大规模集群管理和资源调度,有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。 大数据的发展历史 大数据技术起源于Google在2004年前后发表的三篇论文,分布式文件系统GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable,俗称"三驾马车"。在论文发表后,Lucene开源项目的创始人Doug Cutting根据论文原理初步实现了类似GFS和MapReduce的功能。..

u011250186的博客 1285
上一篇: 腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!
下一篇: 最佳实践:MySQL CDC 同步数据到 ES
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值