流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

Flink自定义ClickHouseSink--数据写入ClickHouse 简介 遇到需要将Kafka数据写入ClickHouse的场景,本文将介绍如何使用Flink JDBC Connector将数据写入ClickHouse Flink JDBC Connector Flink JDBC源码: /** * Default JDBC dialects. */ public final class JdbcDialects { private static final List<JdbcDialect> DIALECTS = Arrays.asList( ne 阅读详情

作者:董伟柯——腾讯云大数据产品中心高级工程师

概述

Apache Flink 是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势,多方位领先同领域的开源竞品。

同样地,ClickHouse 是 OLAP 在线分析领域的一颗冉冉新星,它拥有极其出众的查询性能,以及丰富的分析函数,可以助力分析师灵活而迅速地挖掘海量数据的价值。

然而金无足赤,人无完人,每个组件都有自己擅长和不擅长的方面。为了实现构造高性能实时数仓的目标,接下来的文章会介绍如何将它们巧妙地结合起来,取长补短,最终实现 “效率翻倍,快乐加倍” 的梦想。

 

影响海量数据查询效率的因素

面对海量的业务数据,有很多因素会显著降低我们的端对端查询效率(即数据从产生到最终消费的全流程效率)。

第一个因素是业务需求多样,分析的链路繁杂。

例如我们有一个电商相关的数据库,做增长分析的同学需要用它的数据来进行用户画像,以便实施精准营销,例如对新用户、流失用户制定不同的营销策略;而做风控的同学则需要把数据接入机器学习模型,打击 “羊毛党” 和黑产用户。

场景多 开发慢

如果不加约束,大家都从原始数据源来读取数据并分析,一方面对原始数据源的压力非常大(同时承担着各类业务的写请求、读请求),另一方面分析链路难以复用,最终会形成重复开发、各自为政的 “烟囱模式”,开发慢,运维难。

第二个因素是数据量庞大且多样化,传统的分析工具难以应对:

海量数据 分析慢

例如我们通常用 MySQL、PostgreSQL、Oracle 等 OLTP(Online Transation Processing)数据库来存放各类的交易流水等数据,它们的优点是支持高并发、低延迟读写,且对事务提供了完整的支持。但是缺点是复杂查询(聚合、窗口、分组等)性能差,且缺少数据分析常用的各类函数,用作数据分析场景既低效,又不方便,还可能影响线上业务的稳定性。

因此,我们需要 OLAP(Online Analytical Processing)引擎构造的数据仓库(例如我们的 ClickHouse 就可以被用作 OLAP 引擎),来满足海量数据的复杂查询能力。但它们通常并发读写的能力差,且事务支持不完备,因此也不建议直接用作线上的唯一数据存取系统。

通常我们会使用 CDC(Change Data Capture,变更数据捕获)工具,例如 Debezium、Canal 等,将 OLTP 数据库的流水实时同步到 OLAP 系统以供分析,这样可以充分发挥两套系统各自的优势。有些系统宣称自己同时满足 OLAP 和 OLTP 的特性,通常被称为 HTAP(Hybrid Transactional/Analytical Processing)。但实际上对于很多 HTAP 系统而言,往往只是在内部将两套系统的 CDC 数据同步的过程对用户隐藏了,本质上还是异构的。

此外,我们还会有一些流式数据,例如日志采集流、用户点击流等,它们以流的形式源源不断输入,且有很强的时效性,且顺序在传输过程中很容易错乱,导致分析起来异常困难。

第三个因素是数据源繁杂,组件和格式众多,接入起来耗时长:

数据源多样 接入慢

例如一个业务可能用 Kafka 来承接从 SDK 中上报的各类点击流数据,又使用 HBase 等 KV 系统来存储维表信息,还使用传统的 MySQL、PostgreSQL 数据库来保存精确的广告点击记录和付费订单记录等等。这些数据来自不同数据源,如何将它们规范化,并合理地关联在一起,最终写入到数仓中,也是一个难点和重点。

上述痛点和难点如果不加解决,会严重拖慢分析师的效率:轻则影响拓客和营销的效果,巨额的投入得不到转化;重则会因为风控系统失灵,对业务造成毁灭性打击。因此我们必须通过系统化的体系构建,选择合适的工具组件,逐一解决上述提到的效率困境。

实时数仓如何解决困境 提升效率

我们知道,数据仓库(Data Warehouse)是面向主题的、集成的一套系统。它遵循一系列的建模规范,每层致力于解决不同的问题。

下图是一个典型的实时数仓架构,它分为外部应用、应用层(ADS 或 APP)、汇总层(DWS)、明细层(DWD)和维度层(DIM),以及原始数据层(ODS)。我们以电商行业的互联网精准营销为例子,讲解一下典型的实时数仓结构。

分层的电商实时数仓

实时数仓可以对接很多外部应用,例如用户画像、精准推荐系统可以针对性地推送营销活动,做到 “千人千面”,如下图;BI 实时大屏可以将双 11 大促的总体交易数据图表化;实时监控则能让运维及时感知服务和主机运行的风险;风控反欺诈则可以对业务运行数据做展示,配合告警阈值系统,可以实时监控用户行为和订单量异常等风险因子等;即席查询可以应对分析师灵光一现的突发查询需求。

用户画像的作用

应用层承担了各类数据应用的基础设施,例如 KV 存储(HBase 等)、数据库服务(PostgreSQL 等)、OLAP 服务(ClickHouse 等)、搜索服务(Elasticsearch 等),为上层的外部应用提供支持。实时数仓的应用层的数据来源于汇总层的各类多维主题宽表和汇总表,例如营销汇总表、活动汇总表、商品汇总表等等。这样,业务方只需要从不同的主题汇总表中读取数据,无需再单独对各类数据源做一整套分析链路。如果宽表字段设计合理,内容足够丰富的话,可以大大缓解开发慢的问题。此外,还可以导出数据接口,以供其他业务部门对接。

汇总层的数据是从明细层和维度层关联而来的。由于 ClickHouse 等 OLAP 工具对关联(JOIN)的性能较弱,因此我们可以采用 Flink 来实现流式数据的高效动态 JOIN,并将实时的关联数据定义为宽表并写入 ClickHouse 以供应用层后续分析查询。由于 ClickHouse 等 OLAP 引擎的强劲性能,海量数据的分析慢等问题也可以得到一定程度的解决。

明细层通常是经过清洗过滤等规范化操作后的各类主题的事实表,例如订单交易数据、浏览数据等,而 维度表 则保存了数据中 ID 与实际字段的映射关系,以及其他变化缓慢但可以用来补充宽表的数据。

原始层是对各类数据源的接入映射,例如业务方写入 Kafka 的各类 Topics,以及 MySQL 等数据库的 Binlog 等原始数据等等。主要侧重于数据摄取和简单存储,是上面各层的数据来源。由于 Flink 等流计算平台具有丰富的 Connector 以对接各种外部系统,且提供了丰富的自定义接口,我们接入各类异构的数据源也不成问题了。

Flink 是 ClickHouse 的最佳搭档

ClickHouse 是一个用于联机分析 (OLAP) 的列式数据库管理系统(DBMS),它采用了列式存储、数据压缩、多核并行、向量引擎、分布式处理等技术,性能遥遥领先竞品。

例如我们给定一条数据分析时常见的分组和排序查询语句:


SELECT Phone, Model, uniq(UID) AS u
FROM hits
WHERE Model != ''
GROUP BY Phone, Model
ORDER BY u DESC
LIMIT 10;

下图是 1 亿条数据量级下,ClickHouse 与多种常见数据处理系统的查询速度对比图(数字越小代表耗时越短,性能越好),可以看到 ClickHouse 的性能数据遥遥领先:

ClickHouse 与其他产品的性能对比

尽管 ClickHouse 的数据分析能力如此高效,它还是有自己不擅长的地方:

  1. 不适合大量单条数据的写请求,因为写入过快时后台合并不过来,会报 Too many parts 等错误

  2. 不适合频繁的数据更新和删除操作,因为变更数据的聚合处理需要时间,短期内可能出现数据不准的现象

  3. 不擅长做多张表的关联(尤其是不同数据库引擎的源表之间 JOIN)

  4. 生态支持弱,不适合多种不同数据源(特别是流式数据源)的接入

而这些 ClickHouse 不擅长做的事情,刚好是 Flink 最适合的领域:

  1. Flink 流处理模型,天然适合处理大量单条的流数据,吞吐量高,延迟低。

  2. Flink 的流 - 动态表映射模型(如下图,来自 Flink 官网文档),可以很好地应对频繁更新和删除等记录。还可以通过 Mini-Batch、Window 等优化手段,极大地降低下游 ClickHouse 的处理压力。

  3. Flink 支持多种流和流的 JOIN,还支持流和维度表的 JOIN 操作。借助强大的状态管理能力,可以做到精确的关联语义。

  4. Flink 的生态支持很丰富,常见的各类系统基本都有 Connector;而且通过标准化 Source 和 Sink API,也可以轻松实现自己的 Connector。

Flink 的流表映射

由于开源版 Flink 的应用开发、调优、监控、运维较为繁琐,腾讯云为了解决这些痛点,推出了 流计算 Oceanus 产品。它是基于 Apache Flink 的实时化分析利器,具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点,致力于打造企业级实时大数据分析平台。它提供了丰富的运维开发、监控告警、异常检测能力,融合了技术团队多年的 Flink 开发和运维经验,并持续为 Flink 内核与生态贡献力量。

腾讯云 Oceanus

打造稳定可靠的实时数仓 v1.0

对于实时数仓的构造方法,业界和学界有很多的探索和实践。Lambda 架构是一个成熟且广为采用的方案。它分为离线批处理和实时流处理两个子系统。

Lambda 架构

Lambda 架构的优点是离线和在线的数据源统一的前提下,准确性和容错性相对较好。例如实时流处理遇到了故障导致输出的结果不够精确时,离线批处理系统可以把数据重跑一次,用更精确的数据来覆盖它。

但 Lambda 的缺点也很明显:离线和实时采用独立的平台,每个分析语句都需要重复写两套,而且运维人员也需要维护两套以上的系统,成本高昂。而且如果两套系统的数据口径不一致,那么离线重算的结果,很可能和实时部分产生较大偏差,造成数据的 “跳变” 等异常,反而失去了准确性的优势。

问题解决

当我们推动这套实时数仓系统落地时,会遇到一些实践的问题:

1. 如何将大量的流数据,从 Flink 高效地写入到 ClickHouse

我们知道,写入 ClickHouse 时,既可以写分布式表,也可以直接写本地表。写分布式表的优点在于不需要关注太多底层节点的细节,但是缺点也很明显:由于数据需要被集中缓存和转发,会增加一定的延时,且会加重短期的数据不一致现象;此外,网络方面压力也较大,连接数和网络流量都会有较大的上升。因此,如果我们要写入的数据量很大的话,可以事先获取各节点的连接地址,通过写本地表的方式直接写入各个节点。

写入本地表的方式可以有很多,例如为了防止节点之间出现较为严重的数据倾斜,可在每次写入式随机选择一个节点;也可以采用轮询的方式,每次写入下一个不同节点。如果数据后续要按 Key 进行聚合,那么还可以使用散列的方式,将相同 Key 的数据写到同一个节点,如下图所示:

ClickHouse 写本地表

另外我们注意到,流式数据通常会包含大量的更新和删除操作。为了支持频繁变更的数据,可以将 Flink 的 Retract Stream(回撤流)、Upsert Stream(更新-插入流)等含有状态标记的数据流,写入到 ClickHouse 的 CollapsingMergeTree 引擎表中。例如下图(来自 Flink 官方文档[https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/concepts/dynamic_tables/])中的 GROUP BY 查询会随着新数据的写入,对 user 这个 Key 的统计值 cnt 进行持续的更新。当 Mary 第二次出现时,cnt 统计值由 1 变成了 2,那么可以对旧记录发一条 sign 为 -1 的消息,和之前那条 sign 为 1 的记录相互抵消。然后再写入新的 cnt 为 2 的记录。后续 Mary 第三次出现时,执行同样的操作,即可保证写入 ClickHouse 的最终统计数据是准确的。

Flink 回撤流与 CollapsingMergeTree 的映射

考虑到 ClickHouse 擅长大批量写入的特点,还需要对 Flink ClickHouse Sink 增加攒批写入的支持,避免频繁写入造成的性能下降问题;此外还有故障重试策略、Flink 与 ClickHouse 之间的 SQL 类型映射等需要关注的点。

做好了这些,我们才可以得到一个性能、稳定性俱佳的 Flink ClickHouse Connector。

2. 如何评价数仓的质量

当我们完成了对数仓的初步建模和构建后,数据质量验证是决定数仓是否真正可用的关键环节,需要关注的有:一致性、准确性、容错能力、链路延迟等。对于业务方和平台方而言,各自需要关注和保证不同的方面,如下图所示:

数据质量保证

业务方需要尽早制定并严格遵守数据格式(Schema)的规范,因为 Flink SQL 和很多 Connector 是不支持运行时动态修改表结构的。如果需要修改,则作业的状态准确度可能受到影响,甚至需要重新跑一遍所有数据,代价很大。此外,对于离线和实时链路,一定要保证数据源的口径是一致的,不然会出现数据 “跳变” 的问题。对于多分区的数据源(例如 Kafka 等),还要保证应当将数据有序写入单个分区,否则乱序的数据会影响流处理的精度,造成结果错乱。

对于平台提供方,例如我们腾讯云流计算 Oceanus 而言,需要提供元数据管理等基本能力,避免实际需要修改表结构时,难以追踪多个不同作业之间的依赖关系,造成错漏。同时平台方需要集成 Flink 自带的状态快照功能,精确保存作业的运行时状态,并在作业发生异常时使用最近的状态来恢复作业,以最大程度地保证计算精度,减少误差的存在。Flink 提供的 Watermark 机制也可以做到一定程度的乱序数据重整,对避免结果错乱也很有帮助。

如果从离线数仓或其他版本的数仓系统迁移到实时数仓时,一定要做双写验证,确保新系统的计算结果与原系统保持一致。另外可以使用例如 Apache Griffin(https://griffin.apache.org/) 等数据质量监控工具,实现数据异常的发现和告警。对于重点任务,还可以通过热备等方式,避免单个任务由于外部不可控原因而发生崩溃时,引发输出中断等事故。

实时数仓相比离线数仓平台,对质量的评价标准还多了一项:链路延迟。如果不能及时得到数据输出的话,这个数仓也是不合格的。而影响链路时延有很多不同因素,例如:

影响时延的因素

流计算 Oceanus 平台为了确保及时发现上述问题,也做了很多优化工作。例如,我们支持 70+ 项 Flink 核心指标的订阅,用户可在界面上查看数据源(Source)的实时数据摄入量、链路处理时延、JobManager 和 TaskManager 内存各分区的用量、GC 次数等指标;也可以通过自定义 Reporter,将 Flink 监控数据导出到自己的 Prometheus 等外部系统来自助分析。

在异常感知方面,流计算 Oceanus 平台还可以自动诊断作业运行期间的常见异常事件,例如 TaskManager CPU 占用率过高、Full GC 事件过久、严重背压、Pod 异常退出等,事件可以秒级送达,帮助用户及时获知并处理作业的异常情况。

持续演进批流融合数仓 v2.0

在实时数仓领域,除了上述介绍的 Lambda 架构外,还有一个比较流行的 Kappa 架构,如图所示:

Kappa 架构

相比 Lambda 架构而言,Kappa 架构将流和批融为一体,不再分为两条数据处理链路,数据统一经过流式数据管道传递,清晰简明,可以大幅降低开发和运维成本。但是它的缺点也很明显:由于数据传输都需要经过消息队列等数据管道,为了保证作业崩溃或逻辑修改后可以随时追溯历史数据,消息需要有很长的保存期。此外,由于各层之间没有可落盘的文件存储,难以直接分析中间层的数据,通常需要启动一个单独的作业来导出数据才能分析,灵活度欠佳。

为了解决 Kappa 架构的缺点,我们引入新一代的表结构:Apache Iceberg(https://iceberg.apache.org/),它的优点如下:

Iceberg 优点

Iceberg 同时支持流式读写和批量读写。对于实时链路而言,它可以在一定程度上代替 Kafka 等传统流式数据管道;对于需要读取中间层的数据等特殊需求,又可以使用常见的批处理分析工具来直接分析 Iceberg 数据文件,非常便捷。如果流作业发生了崩溃等情形,还可以借助它高效的历史数据回溯能力,快速从特定的时间点开始重新消费数据,如下图:

使用 Flink 和 Iceberg 构造实时数仓

此外,它还支持超长的数据保存期,不必担心数据保存期过短,历史数据被清理而难以回溯等传统数据管道会遇到的难题,因此 Iceberg 的引入,弥补了传统 Kappa 架构的各类缺点。虽然 Iceberg 等组件的成熟度相对而言没有那么高,但是已经有不少大客户在使用了。相信在不久的未来,我们可以看到更多的类似的组件在生产环境的持续落地。

总结与展望

当数据量总体较小时,传统的 OLTP 数据库已经可以初步满足分析需求。但是随着数据量的剧增,以及分析逻辑的复杂化,OLTP 数据库已经无法满足需求时,业界逐步发展出了离线 OLAP 引擎和离线数仓等应用技术。

后来随着大家对实时性的关注,在离线数仓的基础上又演进出了 Lambda 实时数仓。为了解决 Lambda 数仓重复开发和运维的繁杂等缺陷,Kappa 数仓也渐渐得到了采纳。为了弥补 Kappa 数仓的缺点,很多公司又设计了批流融合的数据格式,打造了融合的一体化数仓结构。例如 Iceberg(https://iceberg.apache.org/)、Hudi(https://hudi.apache.org/) 为批处理的文件格式增加了流式读写支持;而 Pulsar(https://pulsar.apache.org/)、Pravega(http://pravega.io/) 则为数据流增加了批处理所需的长期持久化存储特性。

数仓的演进

流计算 Oceanus 产品在实时数仓领域长期深耕,也将批流融合数仓也作为重点发展方向。在不久的将来,我们会提供一整套的全面数仓构造的解决方案,助力企业数据价值最大化,加速企业实时化数字化的建设进程,实现效率腾飞的梦想。

流计算 Oceanus & ClickHouse 服务组合套餐限时放价售卖中↓↓

 关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~ 

Flink写入 Clickhouse 一、背景 每天上百亿的日志数据实时查询是个挑战,在架构设计上采用了Kafka + Flink + Clickhouse+Redash,实现海量数据的实时分析。计算层,我们开发了基于Flink计算引擎的实时数据平台,简化开发流程,数据通过配置化实现动态Schema生成,底层数据解析统一,无需重复造轮子,整个数据链路,从数据的采集,转换,存储,可视化,无需写一行代码,配置化完成。本文主要介绍实时日志数据写入Clickhouse的实践。 Flink Clickhouse Sink 1 2 阅读详情

相关推荐

2026年国产实时计算平台深度盘点:从Flink到自研实时数仓的选型指南

在数据驱动业务的时代,实时计算已成为企业数字化转型的关键技术。它通过处理无界数据流,实现秒级甚至毫秒级的数据洞察,广泛应用于实时风控、实时大屏、BI分析等场景。其核心原理涉及流式计算引擎(如Apache Flink)与实时数仓(如Doris、SelectDB)的协同,以及消息队列、数据湖等组件的深度融合。技术价值在于帮助企业从“事后分析”走向“实时决策”,显著提升业务响应速度。面对众多国产平台,选型需结合业务诉求、团队技术栈与信创要求,综合评估计算能力、查询性能、生态完整度与成本。本文基于对2026年市场的

weixin_34218579的博客 350

大数据技术之ClickHouse

wget https://repo.clickhouse.tech/tgz/stable/clickhouse-common-static-21.8.3.44.tgz wget https://repo.clickhouse.tech/tgz/stable/clickhouse-common-static-dbg-21.8.3.44.tgz wget https://repo.clickhouse.tech/tgz/stable/clickhouse-server-21.8.3.44.tgz wge

用生命研发技术 1954

国产实时计算平台全解析:从Flink到自研引擎的选型指南

实时计算作为大数据领域的关键技术,解决的是数据从产生到可用的时间差问题,其核心在于流处理引擎对无界数据的低延迟处理能力。Apache Flink凭借事件驱动架构与Exactly-Once语义,已成为流处理事实标准。随着国产化进程加速,国内涌现出基于Flink深度定制的商业平台、Spark Structured Streaming改造方案以及自研的“存储与计算一体”OLAP引擎,形成多元化生态。从实时数仓、实时风控到数据中台建设,选型需综合考虑计算引擎、消息队列、状态管理及运维配套能力。本文梳理了2026年国

weixin_34189116的博客 339

基于Flink+ClickHouse构建亿级电商实时数据分析平台(PC

引用网络文章开启本课程的开篇: 在大数据分析领域中,传统的大数据分析需要不同框架和技术组合才能达到最终的效果,在人力成本,技术能力和硬件成本上以及维护成本让大数据分析变得成为昂贵的事情。让很多中小型企业非常苦恼,不得不被迫租赁第三方大型公司的数据分析服务。  ClickHouse开源的出现让许多想做大数据并且想做大数据分析的很多公司和企业耳目一新。ClickHouse 正是以不依赖Hadoop 生态、安装和维护简单、查询速度快、可以支持SQL等特点在大数据分析领域越走越远。  本课程采用全新的大数据技术栈:Flink+ClickHouse,让你体验到全新技术栈的强大,感受时代变化的气息,通过学习完本课程可以节省你摸索的时间,节省企业成本,提高企业开发效率。本课程不仅告诉你如何做项目,还会告诉你如何验证系统如何支撑亿级并发,如何部署项目等等。希望本课程对一些企业开发人员和对新技术栈有兴趣的伙伴有所帮助,如对我录制的教程内容有建议请及时交流。 课程概述:在这个数据爆发的时代,像大型电商的数据量达到百亿级别,我们往往无法对海量的明细数据做进一步层次的预聚合,大量的业务数据都是好几亿数据关联,并且我们需要聚合结果能在秒级返回。  那么我们该如何实现这一需求呢?基于Flink+ClickHouse构建电商亿级实时数据分析平台课程,将带领大家一步一步从无到有实现一个高性能的实时数据分析平台,该系统以热门的互联网电商实际业务应用场景为案例讲解,对电商数据的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:概况统计、全站流量分析、渠道分析、广告分析、订单分析、运营分析(团购、秒杀、指定活动)等,该系统指标分为分钟级和小时级多时间方位分析,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。 本课程凝聚讲师多年一线大数据企业实际项目经验,大数据企业在职架构师亲自授课,全程实操代码,带你体验真实的大数据开发过程,代码现场调试。通过本课程的学习再加上老师的答疑,你完全可以将本案例直接应用于企业。 本套课程可以满足世面上绝大多数大数据企业级的海量数据实时分析需求,全部代码在老师的指导下可以直接部署企业,支撑千亿级并发数据分析。项目代码也是具有极高的商业价值的,大家可以根据自己的业务进行修改,便可以使用。  本课程包含的技术: 开发工具为:IDEA、WebStorm Flink1.9.0 ClickHouseHadoop2.6.0 Hbase1.0.0 Kafka2.1.0 Hive1.0.0 Jmeter(验证如何支撑亿级并发)Docker (虚拟化部署)HDFS、MapReduce Zookeeper SpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASE Binlog、Canal MySQL Vue.js、Nodejs Highcharts Linux Shell编程  课程亮点: 1.与企业对接、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.大数据热门技术Flink新版本 4.Flink join 实战 5.Flink 自定义输出路径实战 6.全链路性能压力测试 7.虚拟化部署 8.集成指标明细查询 9.主流微服务后端系统 10.分钟级别与小时级别多时间方位分析 11.数据库实时同步解决方案 12.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 13.集成SpringCloud实现统一整合方案 14.互联网大数据企业热门技术栈 15.支持海量数据的实时分析 16.支持全端实时数据分析 17.全程代码实操,提供全部代码和资料 18.提供答疑和提供企业技术方案咨询 企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 

2026国产实时计算平台选型全景解析:从Flink到云原生托管

实时计算以持续处理模型支撑毫秒级延迟的数据链路,与实时查询、OLAP形成本质区别。其核心原理依托有状态流处理引擎(如Flink)实现精确一次语义与状态持久化,在复杂事件处理、窗口聚合、实时数仓等场景中发挥关键价值。随着业务规模增长,自建链路在运维、资源隔离、故障恢复上的痛点愈发突出,平台化成为必然趋势。2026年,国产实时计算平台已形成开源发行版、商业全家桶、云原生托管服务三大路径,选型需综合考量性能、成本、迁移性与生态完整度。围绕主流平台分类与对比,给出针对不同团队规模的落地建议,帮助技术决策者避开常见陷

weixin_34337381的博客 587

Flink与ClickHouse的数据交互——高效数据写入ClickHouse

首先,我们创建了一个Flink作业,使用ClickHouseSink将数据写入ClickHouse。在大数据处理领域,Apache Flink是一个强大的流处理框架,而ClickHouse则是一种快速、可扩展的列式数据库。本文将探讨如何使用Flink将数据高效地写入ClickHouse,并提供相应的源代码示例。但是,在实际使用中,我们需要配置ClickHouse的连接信息,包括地址、端口、用户名和密码等。首先,我们需要创建一个Flink作业来读取数据并将其写入ClickHouse。二、创建Flink作业。

BugCrusher的博客 1079

Oceanus+TCHouse-C 构建轻量云原生实时数仓实战

基于 Flink 配置化数据同步分发 + 计算下沉clickhouse,免重启扩展兼顾轻量开发与灵活扩展!

递归尽头是星辰 708

流式计算:使用Flink构建高性能实时数据仓库

Apache Flink是一个开源的流处理和批处理框架,它提供了高吞吐量、低延迟的流处理能力,同时也支持批处理任务。Flink具有良好的容错性和可伸缩性,可以处理大规模的数据流,并提供了丰富的API和工具来进行数据转换、窗口计算、状态管理等操作。ClickHouse是一个开源的列式数据库管理系统,专为实时分析场景而设计。它具有出色的性能和可伸缩性,能够以高速写入和低延迟的方式处理大规模数据。ClickHouse的列式存储和高度压缩的特性使得它非常适合用于实时数据仓库的构建和查询。

VqhhMobile的博客 360

Flink 实践教程-入门(6):读取 PG 数据写入 ClickHouse

作者:腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。 本文将向您详细介绍如何获取 PostgreSQL 表数据,并使用字符串函数进行转换,最后将数据输出到 ClickHouse 中。 操作视频 前置准备 创建流计算

cloudbigdata的博客 4430

【信息科学与工程学】【数据科学】 第四十四篇 数据湖 系列一 数据湖的机制及特性7

功能清单:静态/传输/动态加密、RBAC/ABAC、行列级权限、动态脱敏、差分隐私、MPC、联邦学习、审计日志、GDPR/PIPL合规、国密算法。国产化·信创+商用(NVIDIA/AMD/Intel/Mellanox/其他国外厂商)芯片的CPU/GPU/ASIC/DPU/RAID卡/内存/SSD/其他芯片及各类硬件及对应指令集的情况及指令集调用集优化情况(提供详细的代码和算法的详细设计,基础环境配置、初级配置、高级配置、特性优化方法列表及对应配置,代码的高级优化方法和并发设计和并行计算设计)

weixin_49199313的博客 55

基于Simulink的防空导弹六自由度弹道建模与仿真实战

本文详细介绍了基于Simulink的防空导弹六自由度弹道建模与仿真方法。通过分析导弹动力学原理、Simulink环境配置、气动力建模、推进与控制系统设计等关键环节,提供了一套完整的实战指南。文章特别强调了六自由度模型在防空导弹仿真中的重要性,并分享了常见问题排查与优化建议,为相关领域工程师提供实用参考。

apple5的专栏 869

Flink 实践教程-入门(5):写入 ClickHouse

​写入ClickHouse

cloudbigdata的博客 1931

SUMO仿真教程(1) ——安装环境的设置(Windows 10系统)

SUMO安装环境的设置 目录一.SUMO下载的官方网址二.下载步骤:三.环境设置:1.打开设置环境变量的界面2.用户(Administrator)变量设置3.系统变量设置四.总述 一.SUMO下载的官方网址 sumo的下载地址: 二.下载步骤: 1.以sumo1.8.0为示例进行演示,点击下载地址; 2.选择Windows64位的安装版本,如下图所示: 3.点击对应版本会跳转到如下图所示的界面,等待几秒后会自动下载(温馨提示:请将下载路径提前设置好): 4.到目标存储路径下查看下载完成的SUMO(本

weixin_50632459的博客 1万+

Flink 实践教程-进阶(3):窗口操作

滑动窗口聚合分析

cloudbigdata的博客 1278

RV1126上YOLOv8部署实战:从模型转换到板端推理的完整避坑指南

本文提供了在瑞芯微RV1126芯片上部署YOLOv8目标识别算法的完整实战指南。内容涵盖从模型转换、环境搭建到板端推理代码编写的全流程,重点解析了RKNN-Toolkit使用、量化配置、内存优化及后处理实现等关键环节的常见问题与解决方案,旨在帮助开发者高效避坑,实现边缘AI应用的稳定落地。

pz89012345的博客 568

CamoFox MCP:让AI助手隐身操作浏览器的反检测自动化实战

浏览器自动化是提升工作效率和实现数据采集的关键技术,其核心原理在于通过程序脚本模拟人类在网页上的交互行为。传统方案如Selenium或Playwright虽功能强大,但需要开发者编写复杂脚本并处理反爬机制。随着AI Agent技术的发展,自然语言驱动的自动化成为新趋势,它能将任务规划与逻辑判断交由AI处理,大幅降低使用门槛。Model Context Protocol(MCP)作为连接AI与外部工具的标准协议,在此场景下价值凸显,它使得AI助手能直接调用丰富的浏览器操作工具。CamoFox MCP创新性地将

weixin_42551967的博客 729

2026实时计算引擎选型指南:Flink、Spark与商业方案横评

实时计算已成为现代数据架构的核心能力,从流处理的基本原理到状态管理、精确一次语义,技术演进让实时数仓和实时风控等场景不再是大厂专属。围绕流批一体、云原生部署和国产引擎成熟化三大趋势,工程团队在实际选型时面临Flink、Spark Structured Streaming、Kafka Streams、RisingWave及云厂商托管产品的多元选择。如何根据延迟要求、状态复杂度、团队能力与预算规模做出理性决策,并避开部署、调优和排障中的常见陷阱,是落地实时链路的关键。本文系统梳理2026年主流引擎与商业方案的优

weixin_34133829的博客 233

快速傅里叶变换(FFT)原理详解:从理论到实践

本文系统介绍了快速傅里叶变换(FFT)的理论与实践。首先阐述了傅里叶变换的数学定义和离散傅里叶变换(DFT)的矩阵表示,指出其O(N²)计算复杂度限制了实际应用。然后详细解析了Cooley-Tukey算法的核心思想,包括分治策略、蝶形运算原理和旋转因子的周期性特性,将复杂度降至O(Nlog₂N)。文章比较了按时间抽取(DIT)和按频率抽取(DIF)两种FFT算法实现,并讨论了FFT在信号处理等领域的应用及其局限性。通过理论分析和实例说明,展现了FFT如何成为现代数字信号处理的基石算法。

qq_42212808的博客 2941

2026国产实时计算平台选型指南:从Flink到湖仓管控全链路解析

实时计算作为大数据处理的核心技术,其概念已从单一流处理引擎扩展为涵盖计算、存储、管控、分析的全链路架构。Apache Flink依然是流式数据处理的事实标准,但真正决定平台效能的是外围生态:Paimon等流式湖仓存储解决了实时数仓的底座问题,StreamPark提升了自建集群的运维效率。在工程实践中,团队需根据业务链路、团队规模选择开源组合或云厂商托管方案,将Flink与OLAP引擎协同使用,才能构建稳定高效的实时数据平台。本文从引擎层到管控层、存储层逐一拆解,并结合主流云厂商商业方案对比,为实时链路选型提

weixin_34327223的博客 318

CRMEB小程序订阅消息实战指南:PHP配置与疑难排查

本文提供CRMEB小程序订阅消息的完整实战指南,重点解析PHP环境下的配置流程与常见错误解决方法。文章从订阅消息的核心规则讲起,详细拆解了从微信后台获取模板到CRMEB后台完成字段映射的关键步骤,并提供了从用户授权、缓存清除到服务器日志检查的逐层排查方案,帮助开发者高效打通消息通道,避免常见配置陷阱。

weixin_29022115的博客 320

最新Python爬虫实战(入门爬虫篇)——案例8:图书网畅销榜数据采集(详细爬虫思路截图+抓包动图演示+完整爬虫代码+详细注释)

本次案例通过 Python 爬虫技术,成功实现了对图书网畅销榜多页数据的批量爬取与 Excel 保存。代码采用模块化设计,包含分页参数构造、API 接口请求、JSON 数据解析、Excel 数据持久化等完整流程;通过配置模拟浏览器的请求头,有效规避基础反爬策略,保证请求的稳定性。整个爬虫逻辑遵循 “分页遍历 → 接口请求 → JSON 解析 → 提取图书信息 → 保存到 Excel” 的标准流程,与电商类接口爬取范式高度一致。

努力让自己发光,对的人才能迎着光而来 29万+

【面试】数据平台产品经理面试知识点总结

距离上次写作已经过去3年,还是要保持写作的习惯。本人从事金融科技行业,有4年左右的数据平台产品经理经验,25年3月起陆续面试了几家公司,写一下面试总结及知识点。建发 厦门安踏 厦门平安银行 深圳招商银行 深圳MarkdownText-to-HTMLAuthorsJohnLuke。

Mr_charm的博客 1522

7、农业市场价格预测与K-Means聚类算法的综合研究

本文综合研究了农业市场价格预测与K-Means聚类算法的原理、应用及拓展。在农业领域,基于历史数据和供应信息的价格预测模型可为农民、政府和金融机构提供决策支持;在数据处理领域,K-Means算法通过合理选择初始质心和距离度量方法,实现高效聚类分析。文章还探讨了两种技术面临的挑战与解决方案,并展望了其在大数据、人工智能融合背景下的未来发展趋势,展示了跨领域技术协同的应用潜力。

ujm56789012的博客 67

基于Flink+Doris构建亿级全端电商实时数据分析平台

上层应用业务对实时数据的需求,主要包含两部分内容:1、 整体数据的实时分析。2、 AB实验效果的实时监控。这几部分数据需求,都需要进行的下钻分析支持,我们希望能够建立统一的实时OLAP数据仓库,并提供一套安全、可靠的、灵活的实时数据服务。目前每日新增的曝光日志达到几亿条记录,再细拆到AB实验更细维度时,数据量则多达上百亿记录,多维数据组合下的聚合查询要求秒级响应时间,这样的数据量也给团队带来了不小的挑战。OLAP层的技术选型,需要满足以下几点:1:数据延迟在分钟级,查询响应时间在秒级2:标准SQL交互引擎,降低使用成本3:支持join操作,方便维度增加属性信息4:流量数据可以近似去重,但订单行要精准去重5:高吞吐,每分钟数据量在千W级记录,每天数百亿条新增记录6:前端业务较多,查询并发度不能太低通过对比开源的几款实时OLAP引擎,可以发现Doris和ClickHouse能够满足上面的需求,但是ClickHouse的并发度太低是个潜在的风险,而且ClickHouse的数据导入没有事务支持,无法实现exactly once语义,对标准SQL的支持也是有限的。所以针对以上需求Doris完全能解决我们的问题,DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库,非常的强大,随着互联网发展,数据量会越来越大,实时查询需求也会要求越来越高,DorisDB人才需求也会越来越大,越早掌握DorisDB,以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解,具体分析指标包含:AB版本分析,下砖分析,营销分析,订单分析,终端分析等,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。整个课程,会带大家实践一个完整系统,大家可以根据自己的公司业务修改,既可以用到项目中去,价值是非常高的。本课程包含的技术:开发工具为:IDEA、WebStormFlink1.9.0DorisDBHadoop2.7.5Hbase2.2.6Kafka2.1.0Hive2.2.0HDFS、MapReduceFlume、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.8.RELEASESpringCloud Finchley.SR2Vue.js、Nodejs、Highcharts、ElementUILinux Shell编程等课程亮点:1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink4.支持ABtest版本实时监控分析5.支持下砖分析6.数据分析涵盖全端(PC、移动、小程序)应用7.主流微服务后端系统8.天级别与小时级别多时间方位分析9.数据库实时同步解决方案10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI11.集成SpringCloud实现统一整合方案12.互联网大数据企业热门技术栈13.支持海量数据的实时分析14.支持全端实时数据分析15.全程代码实操,提供全部代码和资料16.提供答疑和提供企业技术方案咨询企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

ClickHouse大数据分析与实战

本课程基于ClickHouse最新稳定版本进行讲解,着重讲解ClickHouse大数据技术理论与实战。课程全面包含ClickHouse核心理论、分布式集群部署、数据实时查询实操以及ClickHouse全流程大数据项目实战等内容,让大家从基础到实战快速掌握ClickHouse大数据分析技术。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【Flink】【ClickHouse】写入流式数据到ClickHouse

Flink 安装的教程就不在这里赘叙了,可以看一下以前的文章,这篇文章主要是把流式数据写入的OLAP(ClickHouse)中作查询分析 Flink 1.13.2, ClickHouse22.1.3.7

Zsigner的博客 4460

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

上一篇: Flink 实践教程-进阶(5):排序(乱序调整)
下一篇: Elasticsearch 可搜索快照技术原理及最 佳实践
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值