flink实时写doris问题

Flink写入Doris攒批问题及解决方案

原创已于 2025-02-06 09:17:49 修改 · 432 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink

于 2025-01-26 11:37:15 首次发布

参照doris官方文档测试写doris，Flink Doris Connector - Apache Doris。

读kafka实时写入doris，实时观察doris数据，发现不是实时写入，是攒批写入，flink任务执行了，但是数据还未写入doris。

查找相关文档后，发现doris流模式写入中，Flink Doris Connector 强依赖 Checkpoint 进行流式写入，实测也是。

解决方案：

方案一：缩短checkpoint时间，如200ms，实测效果ok，时效性也是最好的

方案二：若业务中checkpoint时间不宜设置太短，改为batchmode模式，设置flush时间，但是当前最短只能设置为1s，无法设置毫秒级

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Jmin_L

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Doris进阶篇—Flink+Doris 实时数仓

10-07

4万+

简单来说，Aggregate模型就是预聚合模型，类似于Molap，通过提前定义key列及value列的聚合方式，在数据导入的时候已经将key列相同的数据按照value列的聚合方式聚合在一起，即最终表里key相同的数据只保留一条，value按照相应的规则计算。线上配置的监控1分钟执行一次，如果遇到任务暂停，会自动恢复导入任务，但是导致任务失败的脏数据会跳过，此时需要人工排查失败原因，修复后重新触发该条数据的导入。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势。

【Flink】Flink 2023 Flink 到 Doris 实时写入实践

九师兄

01-15

398

Apache Doris 是一个实时分析型的数据仓库，架构主要分成BE和FE,BE和FE负责的内容如下Doris使用的场景是一般将上游的数据处理后写入Doris，主要做中间数据存储Flink Doris Connector的使用场景是，Flink接入数据然后，使用Doris做数据join和存储。这里使用的是异步批量操作，而jdbc是阻塞的，性能不好。

参与评论您还未登录，请先登录后发表或查看评论

Flink消费Kafka实时写入Doris

weixin_42828342的博客

10-15

4406

通过FileBeat采集日志信息到Kafka，再通过Flink消费Kafka实时写入Doris。

Flink 写入 Doris

weixin_39750695的博客

07-05

4375

apache Flink 写入 Apache Doris

Flink写入Doris的实时应用

提拉米苏的博客

01-20

8379

flink写入Doris的实时应用引言做实时数仓的同学对目前比较流行的KFC(Kafka\Flink\ClickHouse)套餐非常熟悉，其实KFD也不错。大数据组件越来越丰富，但是还没有出现一个兼容OLAP和OLTP的工具，即满足DB和日志的实时存储和复杂查询，又能满足在此基础上的数仓建设，我们尝试过ClickHouse，缺点在于难维护、实时写入效率低，内部碎片合并和数据走zk难以实现大量数据的实时存储；之后使用过impala+kudu，缺点是impala实在是太占用内存，两者结合用起来比较费劲，也

Apache Doris 1.1 特性揭秘：Flink 实时写入如何兼顾高吞吐和低延时

SelectDB

08-02

1602

针对小文件合并，优化了小文件合并的策略，采用梯度合并的方式，每次参与合并的文件都属于同一个数据量级，防止大小差别很大的版本进行合并，逐渐有层次的合并，减少单个文件参与合并的次数，能够大幅的节省系统的CPU消耗。...

Apache Doris 系列：基础篇-Flink SQL写入Doris

修破立生

09-22

5641

本文介绍 Flink SQL如何流式写入 Apache Doris

Doris UNIQUE 表使用 Flink Doris Connector两阶段提交数据未写入分析

qq_26921975的博客

10-17

1241

因此对于 UNIQUE 模型来讲，没必要去设置 'sink.properties.two_phase_commit' = 'true'，因为一旦设置这个，在StreamLoad 导入时，就会将 two_phase_commit 设置到 http 的 header 中，Doris 就会认为开启了两阶段提交，但是 enable2PC 又为 false，就导致了事务没有提交，数据没有正在写入。顺便吐槽下 Doris 的官方文档，需要完善一下。

实战Flink+Doris实时数仓

06-21

给大家分享一套课程——实战Flink+Doris实时数仓课程，附源码+文档+虚拟机。

flink实时kafka写入doris

celltobig的专栏

09-25

905

【代码】flink实时kafka写入doris。

从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路

最新发布

SelectDB

08-05

1193

Flink-Doris-Connector 作为 Apache Flink 与 Doris 之间的桥梁，打通了实时数据同步、维表关联与高效写入的关键链路。本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现，并结合 Flink CDC 详细介绍了整库同步的解决方案，助力构建更加高效、稳定的实时数据处理体系。

ucanuup_的博客

09-04

4014

1.概述 ...

Doris 导入慢该如何排查及优化？

一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!

01-14

2509

在使用 Apache Doris 进行数据导入时，经常会遇到导入性能不理想的情况。今天我们就来深入分析这些问题的原因及其解决方案！

记录flink-cdc-doris踩得一个大坑

qq_18379607的博客

11-29

1298

最近在做mysql-doris的cdc,但是无论怎么操作,,卡了3-4个工作日,影响心情!先说结论,就是一定要开启checkpoint,因为。

探索高效数据处理：Apache Flink 与 Apache Doris 的完美融合

gitblog_00159的博客

08-07

861

探索高效数据处理：Apache Flink 与 Apache Doris 的完美融合在大数据时代，实时数据分析与处理的重要性不言而喻。Apache Flink 和 Apache Doris 是两个广泛使用的开源项目，分别在流处理和分析型数据库领域独树一帜。如今，随着 Flink Connector for Apache Doris 的推出，这两者之间的结合为数据工程师提供了更强大的工具链。本文将...

flink cdc初始全量速度很慢原因和优化点

大模型大数据攻城狮的专栏

08-23

3007

link cdc初始全量速度很慢的原因之一是，它需要先读取所有的数据，然后再写入到目标端，这样可以保证数据的一致性和顺序。但是这样也会导致数据的延迟和资源的浪费。 flink cdc初始全量速度很慢的原因之二是，它使用了Debezium作为捕获数据变化的引擎，而Debezium在读取数据时，会使用全局锁或者快照隔离级别，这样会影响源端数据库的性能和并发能力。 flink cdc初始全量速度很慢的优化点之一是，使用并行读取的方式，将源端数据库的表分成多个分区，然后使用多个任务同时读取不同的分区，这样可以提

doris: Flink导入数据

qq_36070104的博客

01-17

742

doris: Flink导入数据

使用 Flink Doris Connector 进行数据读取和写入操作

学亮编程手记

10-04

2021

Apache Flink 是一个用于处理无界和有界数据的开源流处理框架，而 Apache Doris（以前称为 DorisDB 或 Palo）是一个现代化的实时分析型数据库。Flink Doris Connector 允许你在 Flink 作业中读取和写入 Doris 数据库。以下是一个基本示例，展示如何使用 Flink Doris Connector 进行数据读取和写入操作。假设你已经安装并配置好了 Flink 和 Doris，并且已经添加了 Flink Doris Connector 的依赖。

flinksql写doris

03-02

Flink SQL 可以通过 JDBC 连接 Doris 数据库进行数据读写操作。以下是一个简单的 Flink SQL 示例，展示如何使用 Flink SQL 将数据写入 Doris 数据库： ```sql -- 创建一个 Kafka 数据源 CREATE TABLE source_table ( id INT, name STRING, age INT, PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'kafka', 'topic' = 'input_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'properties.group.id' = 'flink_consumer_group', 'format' = 'json' ); -- 将数据写入 Doris 数据库 CREATE TABLE sink_table ( id INT, name STRING, age INT, PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:9030/dorisdb', 'table-name' = 'sink_table', 'username' = 'root', 'password' = 'root', 'driver' = 'com.mysql.jdbc.Driver' ); -- 将数据从 Kafka 数据源写入 Doris 数据库 INSERT INTO sink_table SELECT id, name, age FROM source_table; ``` 在上面的示例中，我们首先创建了一个 Kafka 数据源表 `source_table`，然后创建了一个 Doris 数据库表 `sink_table`，最后使用 `INSERT INTO` 语句将数据从 `source_table` 写入到 `sink_table`。需要注意的是，Doris 数据库的 JDBC 连接信息需要根据实际情况进行修改。