Doris Routine Load接入Kafka0.8.0实战

最新推荐文章于 2025-11-03 17:06:29 发布
原创 最新推荐文章于 2025-11-03 17:06:29 发布 · 952 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #大数据 #java

本文档详细介绍了如何在Doris中通过RoutineLoad功能接入Kafka0.8.0版本的数据。首先，讨论了Doris对Kafka版本的兼容性，然后展示了Kafka0.8.0的部署和配置步骤，接着在Doris环境中创建数据库、表以及RoutineLoad任务，最后展示了数据生产、查询和RoutineLoad任务的验证过程。关键配置参数包括`property.broker.version.fallback`和`property.api.version.request`。

Doris Routine Load接入Kafka0.8.0实战

想要更全面了解Spark内核和应用实战，可以购买我的新书。
《图解Spark 大数据快速分析实战》(王磊)

1. 问题产生的背景

  1. Doris通过Routine Load支持将Kafka数据接入Doris

  2. Kafka目前（2022-07-18）版本已经到了3.2.0，但是客户反馈他们线上Kafka集群是0.8.0版本，想要测试兼容性。

  3. Doirs Kafka客户端通过librdkafka实现，librdkafka通过broker.version.fallback和api.version.request来兼容历史的Kafka版本。具体参数参照：https://docs.confluent.io/3.1.1/clients/librdkafka/CONFIGURATION_8md.html。具体解释为：

    api.version.request：取值范围[true,false],默认值为false。

    Request broker’s supported API versions to adjust functionality to available protocol features. If set to false the fallback version broker.version.fallback will be used. NOTE: Depends on broker version >=0.10.0. If the request is not supported by (an older) broker the broker.version.fallback fallback is used.
    Type: boolean

    broker.version.fallback:兼容历史的版本号，默认为0.9.0。

    broker.version.fallback：Older broker versions (<0.10.0) provides no way for a client to query for supported protocol features (ApiVersionRequest, see api.version.request) making it impossible for the client to know what feat

最低0.47元/天 解锁文章
Doris 数据导入三：Routine Load 方式
shangjg3的博客
12-03 557
如果要使用 Kafka 0.10.0.0 以下版本 (0.9.0, 0.8.2, 0.8.1, 0.8.0)，需要修改 be 的配置，将 kafka_broker_version_fallback 的值设置为要兼容的旧版本，或者在创建routine load的时候直接设置 property.broker.version.fallback的值为要兼容的旧版本，使用旧版本的代价是routine load 的部分新特性可能无法使用，如根据时间设置 kafka 分区的 offset。默认是 0，即不允许有错误行。
Doris-接入能力
lukabruce的博客
07-29 390
该功能可以将用户指定的表或分区的数据，以指定的文件格式，通过 Broker 进程或 S3 协议/HDFS 协议 导出到远端存储上，如 对象存储 / HDFS 等。当前，EXPORT 支持导出 Doris 本地表 / View 视图 / 外表，支持导出到 parquet / orc / csv / csv_with_names / csv_with_names_and_types 文件格式。部分列更新：主键模型更新值字段速度高效， 聚合模型写入时不做处理，查询时进行聚合，查询时性能下降。
Doris系列13-数据导入之Routine Load
只是甲的博客
01-11 1948
文章目录一. Routine Load 概述二. Kafka 例行导入2.1 创建例行导入任务2.1.1 columns_mapping2.1.2 where_predicates2.1.3 desired_concurrent_number2.1.4 max_batch_interval/max_batch_rows/max_batch_size2.1.5 max_error_number2.1.6 data_source_properties2.1.7 strict_mode2.1.8 merge_ty
Apache Doris以Routine Load方式流式的导入Kafka数据
Bulut0907
08-16 3963
如果schema change完成后，列映射关系无法匹配，则会导致作业的错误数据激增，最终导致作业暂停。如果routine load正在向一个partition导入数据，则不能进行该partition的删除，需等向该partition导入数据的任务完成活暂停routine load，才能删除该partition。：FE配置项，默认为5，可以运行时修改。Doris重新调度时，只会在5分钟这个周期内，最多尝试3次. 如果3次都失败则锁定当前任务，后续不再进行调度。：FE配置项，默认为5，可以运行时修改。...
Doris 通过 Routine Load 导入方式持续消费 Kafka Topic 中的数据
学亮编程手记
11-03 863
Doris 可以通过 Routine Load 导入方式持续消费 Kafka Topic 中的数据。在提交 Routine Load 作业后，Doris 会持续运行该导入作业，实时生成导入任务不断消费 Kafka 集群中指定 Topic 的消息。Routine Load 是一个流式导入作业，支持 Exactly-Once 语义，保证数据不丢不重。
Apache Doris Routine Load快速体验之Kafka部署（1）
ith321的博客
07-16 1614
Apache Doris Routine Load快速体验之Kafka部署（1）
doris：Routine Load
qq_36070104的博客
01-23 2239
doris：Routine Load
doris routine load
qq_15138049的博客
12-04 1788
doris routine load
doris routine load kafka
最新发布
12-31
嗯，用户想了解Doris通过Routine Load从Kafka加载数据的完整流程和常见问题解决方案。从提问看应该是大数据工程师或DBA，需要实操指导而非理论概述。 用户提供的三个引用很有价值：引用[1]详细说明了参数配置和作业...
Apache Doris
lihuazaizheli的博客
07-20 845
Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后，更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一业务最大可达到上百 TB。Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。
大数据Doris（二十七）：Routine Load数据导入演示
Lansonli（蓝深李）的博客
11-21 462
启动kafka集群（三台节点都启动）启动kafka生产者命令行工具。查询表的数据（有一定延迟时间）在doris中创建对应表。
Doris Routine Load数据导入实战【每秒导入16w】
wangleigiser的博客
07-29 1730
我写了一个java程序模拟生成kafka数据并发送到kafka，该程序模拟生成5000万条数据并发送到kafka。京东地址https//item.jd.com/13613302.html。从任务状态可看出662829毫秒写入105533558条数数据，大概。最后宣传下我的书Spark内核和应用实战，可以购买我的新书。（105533558/662829约等于159216）数据。执行如下命令下载源码并编译执行，注意这些代码中默认的配为。...
Apache Doris 系列： 基础篇-Routine Load
修破立生
09-17 2417
Routine Load 支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。目前仅支持通过无认证或者 SSL 认证方式，从 Kakfa 导入 CSV 或 Json 格式的数据。接下来通过一个案例介绍 Routine Load 的使用。部署单节点Kafka准备测试数据并导入kafka导入数据到 Doris。
Doris中的本地routineload环境，用于开发回归测试用例
howard_shooter的博客
02-05 1250
上面这些都弄好后，执行 ./run-thirdparties-docker.sh -c kafka，就会下载镜像，创建kafka和zookeeper的容器，配置好网络，并向kafka写入数据，这些数据在 doris/docker/thirdparties/docker-compose/kafka/scripts 目录下，对应着 doris/regression-test/suites/load_p0/routine_load/ 里的测试用例用到的表。
大数据Doris（二十六）：数据导入（Routine Load）介绍
Lansonli（蓝深李）的博客
11-19 840
每个 Task 负责导入指定的一部分数据。Task 被 TaskScheduler 分配到指定的 BE 上执行。在 BE 上，一个 Task 被视为一个普通的导入任务，通过 Stream Load 的导入机制进行导入。FE 中的 JobScheduler 根据汇报结果，继续生成后续新的 Task，或者对失败的 Task 进行重试。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。整个例行导入作业通过不断的产生新的 Task，来完成数据不间断的导入。
Apache Doris (三十二）：Doris 数据导入(十）Routine Load 1- 基本原理及语法
qq_32020645的博客
07-20 683
对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换，但无法通过范围限制的，严格模式对其也不产生影响。整型，用于设置发送批处理数据的并行度，如果并行度的值超过 BE 配置中的 max_send_batch_parallelism_per_job，那么作为协调点的 BE 将使用 max_send_batch_parallelism_per_job 的值。例行导入（Routine Load）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。
Apache Doris Routine Load快速体验之案例（2）
ith321的博客
07-20 2170
Apache Doris Routine Load快速体验之案例（2）
使用Routine Load导入kafka的json数据到Doris
u013592588的博客
06-13 872
表结构很简单，使用聚合模型统计timestamp,op,rid相同时的数量总和。
Doris的Routine Load方式消费Kafka数据进入Doris
qq_25954159的博客
09-24 1406
最后kafka的数据就可以源源不断的存储到doris表里面了。假设kafka已有嵌套JSON数据格式为。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值