Doris Routine Load正则表达实战

原创

已于 2022-08-23 20:43:08 修改 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java #分布式

于 2022-08-23 20:40:31 首次发布

本文详细介绍了如何使用Doris进行RoutineLoad任务，包括Kafka的安装与配置、数据库与表的创建、正则表达式在RoutineLoad中的应用，以及如何通过kafka-console-producer生产数据并验证加载效果。最后展示了新书《Spark内核和应用实战》的宣传信息。

Doris Routine Load正则表达实战

1. Kafka安装

#1.下载安装包
wget https://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
#2. 解析安装包
$ tar -xzf kafka_2.13-3.2.0.tgz
$ cd kafka_2.13-3.2.0
#3. 启动zookeeper
$ nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
#4. 启动kafka
$ nohup bin/kafka-server-start.sh config/server.properties  &
#5. 创建topic
$ bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092

2. Doirs库、表、Routine Load任务创建

# 创建数据库
create database kafka_doris;
#切换数据库
use kafka_doris;
#创建clicklog表
CREATE TABLE IF NOT EXISTS kafka_doris.clicklog
(
`clickTime` DATETIME NOT NULL COMMENT "点击时间"