Doris Routine Load数据导入实战【每秒导入16w】

最新推荐文章于 2025-11-03 17:06:29 发布

原创

最新推荐文章于 2025-11-03 17:06:29 发布 · 1.7k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java #分布式

本文详细介绍了如何使用Doris的RoutineLoad功能从Kafka实时导入数据，包括Kafka的安装、Doris库表创建、RoutineLoad任务配置，以及Java程序生成Kafka数据。通过数据验证，显示每秒导入速度约为16w条，最后提到了作者的新书《Spark内核和应用实战》。

Doris Routine Load实战【每秒导入16w】

1. Kafka安装

#1.下载安装包
wget https://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
#2. 解析安装包
$ tar -xzf kafka_2.13-3.2.0.tgz
$ cd kafka_2.13-3.2.0
#3. 启动zookeeper
$ nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
#4. 启动kafka
$ nohup bin/kafka-server-start.sh config/server.properties  &
#5. 创建topic
$ bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092

2. Doirs库、表、Routine Load任务创建。

# 创建数据库
create database kafka_doris;
#切换数据库
use kafka_doris;
#创建clicklog表
CREATE TABLE IF NOT EXISTS kafka_doris.clicklog
(
`clickTime` DATETIME NOT NULL COMMENT "点击时间",
`type` VARCHAR(20) NOT NULL COMMENT "点击类型",
`id`  VARCHAR(100) COMMENT "唯一id",
`user` VARCHAR(100) COMMENT "用户名称