如何创建Doris数据表和Doris ROUTINE LOAD

最新推荐文章于 2024-09-20 17:54:36 发布
最新推荐文章于 2024-09-20 17:54:36 发布
阅读量390 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Doris 文章标签： sql 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Baby_pw/article/details/132537087
本文介绍了如何使用Doris数据库系统通过Kafka流处理创建数据表并实现数据实时加载的过程，包括登录服务器、选择数据库、创建分区表以及监控数据装入任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

第一步：切换用户

su - doris

第二步：登录至目标服务器

mysql -h 10.68.90.11 -P 39030

第三步：选择要操作的目标数据库

use tonly_data

第四步：创建数据表

CREATE TABLE `test_tonly_location`
(
  `upload_time` datetime NULL COMMENT "",
  `vin` varchar(32) NULL COMMENT "",
  `tbox_vin` varchar(32) NULL COMMENT "",
  `gps_x` float NULL COMMENT "",
  `gps_y` float NULL COMMENT "",
  `bd_x` float NULL COMMENT "",
  `bd_y` float NULL COMMENT "",
  `speed` int(11) NULL COMMENT "",
  `angle` int(11) NULL COMMENT "",
  `quadrant` int(11) NULL COMMENT "",
  `altitude` int(11) NULL COMMENT "",
  `cgq_x` float NULL COMMENT "",
  `cgq_y` float NULL COMMENT "",
  `cgq_z` float NULL COMMENT "",
  `source_table` datetime NULL COMMENT ""
) ENGINE = OLAP DUPLICATE KEY(`upload_time`, `vin`)
PARTITION BY RANGE(`upload_time`)
(
START ("2023-08-25") END ("2023-09-05") EVERY (INTERVAL 1 day)
)
DISTRIBUTED BY HASH(`vin`) BUCKETS 32
PROPERTIES (
"replication_num" = "2",
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.time_zone" = "Asia/Shanghai",
"dynamic_partition.start" = "-100",
"dynamic_partition.end" = "3",
"dynamic_partition.prefix" = "p",
"dynamic_partition.buckets" = "32",
"in_memory" = "false",
"storage_format" = "DEFAULT"
);

第五步：创建Doris ROUTINE LOAD

CREATE
ROUTINE LOAD
from_kafka_test_tonly_location ON test_tonly_location
COLUMNS TERMINATED BY ",",
COLUMNS (upload_time,
vin,
tbox_vin,
gps_x,
gps_y,
bd_x,
bd_y,
speed,
angle,
quadrant,
altitude,
cgq_x,
cgq_y,
cgq_z,
source_table)
PROPERTIES
(
    "desired_concurrent_number"="3",
    "max_error_number"="1000",
    "max_batch_interval"="60",
    "max_batch_rows"="200000"
)
FROM KAFKA
(
    "kafka_broker_list"= "10.68.90.11:9092,10.68.90.12:9092,10.68.90.13:9092",
    "kafka_topic" = "test_tonly_location",
    "property.group.id" = "test_tonly_location_group"
);

第六步：查看数据装入任务

show routine load;

show routine load for from_kafka_test_tonly_location \G

Doris建表
JustinMars的博客
09-24 5298
Name: ‘CREATE TABLE’ Description: 该语句用于创建 table。 语法： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [database.]table_name (column_definition1[, column_definition2, …] [, index_definition1[, ndex_definition12,]]) [ENGINE = [olap|mysql|broker|hive]] [key_desc] [COM
【doris】应用篇（一）- 建库 建表
dongfenggujian的博客
05-26 536
本文介绍了Apache Doris数据库的建库建表操作。Doris支持三种表引擎：明细表（存储原始数据）、主键表（支持唯一键去重和更新）和聚合表（内置聚合函数）。建库操作与MySQL类似，支持设置副本分布。建表时需注意排序键设置，它直接影响查询效率。明细表使用DUPLICATE KEY，主键表用UNIQUE KEY实现数据去重，聚合表通过AGGREGATE KEY实现预聚合。文中还介绍了分桶策略、副本设置以及数据更新注意事项，建议事务性操作使用主键表，并提醒注意数据可见性延迟问题。
Doris--基础--3.5--SQL--建表
zhou920786312的博客
03-07 7706
上述表通过设置 replication_num 建的都是单副本的表，Doris建议用户采用默认的 3 副本设置，以保证高可用。可以对 Table 增加上卷表(Rollup)以提高查询性能，这部分可以参见高级使用指南关于 Rollup 的描述。注：表的数据量可以通过 show data 命令查看，表的数据量=size/ReplicaCount。详见 HELP LOAD。假设在有10台BE，每台BE一块磁盘的情况下。表的列的Null属性默认为true，会对查询性能有一定的影响。可以动态修改表的 Schema。
Doris：数据库建表最佳实践
m0_37559973的博客
09-20 2055
Doris 数据表模型上目前分为三类：DUPLICATE KEY, UNIQUE KEY, AGGREGATE KEY。因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。
Apache Doris 系列： 基础篇-创建数据表
修破立生
09-14 2523
本文介绍 Doris 怎么创建表及其他的相关操作。 连接 Doris 部署完成 Doris 之后，可以通过任意 MySQL 客户端来连接 Doris。 mysql -u<username> -P<query_port> -h<FE_IP> 注意： 这里连接 Doris ，指的是连接 Doris FE， 连接的 IP 地址就是 FE 节点 IP 地址，端口是 FE 的 query_port 默认是9030 创建数据库 使用 root 用户登录，创
Doris--数据表建表语法&数据划分（分区&分桶）
qq_46893497的博客
03-17 1万+
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。列的基本类型，可以通过在 mysql-client 中执行查看。AGGREGATE KEY 数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为 Key 列。而其余则为 Value 列。定义列时，可参照如下建议：Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。对于不同长度的整型类型的选择原则，遵循够用即可。
大数据Doris（二十六）：数据导入（Routine Load）介绍
Lansonli（蓝深李）的博客
11-19 674
每个 Task 负责导入指定的一部分数据。Task 被 TaskScheduler 分配到指定的 BE 上执行。在 BE 上，一个 Task 被视为一个普通的导入任务，通过 Stream Load 的导入机制进行导入。FE 中的 JobScheduler 根据汇报结果，继续生成后续新的 Task，或者对失败的 Task 进行重试。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。整个例行导入作业通过不断的产生新的 Task，来完成数据不间断的导入。
Doris 数据集成 Kafka
热门推荐
04-26 7万+
这是我们Doris 数据集成篇的第二篇，前面我们介绍过通过 Catalog进行集成的例子目前公司的很多数据服务都开始使用Doris 了，目前使用下来感觉还是很方便的，比起Hadoop 那一套少了很多运维的成本，而且整体的效率也不错，现在也要把ELK 那一套日志分析的替换掉，后面日志分析也走Doris。关于如何使用Doris做日志分析，可以参考之前的文章，不过第一步也不是日志分析，而是如何对接Kafka ，因为目前日志数据是在kafka 里的，这里我调研了一下使用Flink 和 Doris 的。
Doris 数据导入三：Routine Load 方式
shangjg3的博客
12-03 419
如果要使用 Kafka 0.10.0.0 以下版本 (0.9.0, 0.8.2, 0.8.1, 0.8.0)，需要修改 be 的配置，将 kafka_broker_version_fallback 的值设置为要兼容的旧版本，或者在创建routine load的时候直接设置 property.broker.version.fallback的值为要兼容的旧版本，使用旧版本的代价是routine load 的部分新特性可能无法使用，如根据时间设置 kafka 分区的 offset。默认是 0，即不允许有错误行。
Apache Doris (三十二）：Doris 数据导入(十）Routine Load 1- 基本原理及语法
qq_32020645的博客
07-20 623
对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换，但无法通过范围限制的，严格模式对其也不产生影响。整型，用于设置发送批处理数据的并行度，如果并行度的值超过 BE 配置中的 max_send_batch_parallelism_per_job，那么作为协调点的 BE 将使用 max_send_batch_parallelism_per_job 的值。例行导入（Routine Load）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。
采用 Doris的Routine Load直接消费Kafka中的日志和业务数据
JustinMars的博客
09-24 1471
创建主题 sh kafka-topics.sh --zookeeper vm01:2181,vm02:2181,vm03:2181 --create --topic track --partitions 3 --replication-factor 2 查看详细信息 sh kafka-topics.sh --zookeeper vm01:2181,vm02:2181,vm03:2181 --describe --topic track 查看偏移量 sh kafka-run-class.sh kafka
Doris学习笔记之数据表的创建
四国棋客
07-02 6997
本文介绍Doris中数据表的创建，包括用户和数据库的创建、Doris表的基本概念、数据划分、Rollup上卷、物化视图、数据表的修改和删除，并辅以多个案例进行演示
Doris：数据表设计
m0_37559973的博客
10-06 4701
Doris的数据表设计及基本操作
Doris系列之建表操作
Allen_人工智能与大数据
08-12 1万+
Doris系列之建表操作
Doris 建表
cai_and_luo的博客
07-09 6804
Doris建表 这是AGGREGATE 模型的建表案列。如果是其他模型，只要改AGGREGATE KEY这一行，改掉REPLACE ，MAX，MIN，SUM，HLL_UNION)等。 注意：在Doris中，unique约束与Mysql，Oracle,Hive等数据库不同，不是写在字段类型里，而是作为一种数据模型。 CREATE TABLE IF NOT EXISTS example_db.expamle_tbl ( `user_id` LARGEINT NOT NULL COMMENT "用户id"
Apache Doris 系列： 入门篇-创建数据表
锋哥聊DORIS数仓
09-06 4370
我们在成功部署完成 Doris 之后，我们可以通过任意 MySQL 客户端来连接 Doris ，下面我们的示例是通过 MySQL 客户端命令行工具来进行操作。命令来修改表的 Schema ，包括增加列，修改列类型、删除列、改变列的顺序。如果作业长时间没有完成，或者影响到了其他操作，你可以通过下面的命令来取消作业。我们执行完建表语句，表创建成功之后，我们可以通过下面的命令来查看表的相关信息。命令来查看创建好的数据库，这个命令会显示所有已经创建的数据库。，来满足不同用户场景的使用，下面我们以。
Doris数据库---建表、调整表结构操作
weixin_51101008的博客
01-13 9987
doris常见建表语法和问题解决
下一代实时数据库：Apache Doris 【五】数据表的创建
Maynor的博客
09-25 344
1）创建 test 用户2）创建数据库3）用户授权在 Doris 中，数据都以关系表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。⚫ 在默认的数据模型中，Column 只分为排序列和非排序列。存储引擎会按照排序列对数据进行排序存储，并建立稀疏索引，以便在排序数据上进行快速查找。⚫ 而在聚合模型中，Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和。
Doris 建表示例（七）
weixin_46039745的博客
11-22 840
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。列的基本类型，可以通过在 mysql-client 中执行 HELP CREATE TABLE;查看。AGGREGATE KEY 数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为 Key 列。而其余则为 Value 列。定义列时，可参照如下建议：Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。
doris数据同步
最新发布
06-28
<think>首先，用户的问题是关于“Doris数据导入同步方法实现方式”。用户提到“将数据从一个系统同步到Doris数据库”，可能涉及ETL过程、数据导入或与其他系统的数据集成。从系统指令中，我需要： -所有行内数学表达式使用$...$格式。 -独立公式使用$$...$$格式并单独成段。 -LaTeX语法正确。-使用中文回答。-生成相关问题。 -在回答中引用的段落末尾自然地添加引用标识，例如[^1]。 -回答结构清晰，帮助用户逐步解决问题，尽量保证回答真实可靠。参考站内引用： -引用[1]: Doris数据导入导出，提到导入作业是事务性的，包括BrokerLoad和INSERT语句。 -引用[2]: Doris数据导入，介绍了外部表Multi-Catalog和RoutineLoad（Kafka集成）。 -引用[3]: Doris数据导入四：BinlogLoad方式，描述了通过Binlog接收数据。这些引用表明Doris支持多种数据导入方式，如BrokerLoad、INSERT、RoutineLoad、BinlogLoad等。 用户意图：用户想了解如何同步数据从一个系统到Doris，可能涉及实时或批量同步、ETL过程。 我的回答结构：1.**介绍Doris数据导入概述**：简要解释Doris的数据导入机制。 2. **详细说明各种同步方法**：列出并解释常见的导入方式，如BrokerLoad、RoutineLoad、BinlogLoad、INSERT等。 3. **实现方式**：对每种方法，描述如何实现，包括步骤或示例。4.**引用相关部分**：在解释时，自然地添加引用标识。 5. **生成相关问题**：在回答末尾添加相关问题部分。确保使用中文回答。 生成相关问题：-基于用户的问题，生成3-5个相关问题，例如：1.Doris数据导入的性能优化方法？2.如何选择适合的Doris数据导入方式？3.Doris数据导入的常见错误及解决方案？4.Doris与其他数据库的集成方式？ 现在，构建回答：**回答结构**： -开头：概述Doris数据导入的重要性。 -主体：分点介绍各种同步方法。- BrokerLoad-Routine Load- Binlog Load- INSERT语句-其他方式（如Stream Load） -结尾：总结建议。-相关问题部分。 在描述中，自然地添加引用。例如： -当提到Broker Load时，引用[1]。 -当提到Routine Load时，引用[2]。 -当提到Binlog Load时，引用[3]。由于引用是站内的，我需要确保在回答中正确引用。最后，添加相关问题。</think>### Doris 数据导入同步方法实现方式 在 Doris 数据库中，数据导入（同步）是将数据从外部系统（如 MySQL、Kafka、HDFS 等）高效、可靠地加载到 Doris 表的过程。Doris 支持多种导入方式，每种方式都基于事务机制，确保数据原子性和一致性[^1]。以下我将详细介绍常见的同步方法、实现步骤和适用场景，帮助您根据实际需求选择合适的方式。所有方法均支持 ETL 过程（如数据清洗和转换），并与其他系统（如数据仓库或流处理平台）无缝集成。 #### 1. **Broker Load（批量导入）** - **描述**：Broker Load 是一种批量导入方式，适用于从 HDFS、S3 等存储系统导入大量数据。它通过 Doris 的 Broker 进程代理访问外部存储，支持文件格式如 Parquet、ORC、CSV 等。导入作业作为一个完整事务，确保数据原子生效[^1]。 - **实现步骤**： 1. **准备数据源**：将数据文件上传到 HDFS 或 S3。 2. **创建导入作业**：使用 SQL 命令定义导入任务，指定文件路径、格式和表映射。 ```sql LOAD LABEL example_label ( DATA INFILE("hdfs://path/to/data.csv") INTO TABLE my_table COLUMNS TERMINATED BY "," ) WITH BROKER "broker_name"; ``` 3. **监控作业**：通过 Doris 的 Web UI 或 `SHOW LOAD` 命令检查状态（如 `FINISHED` 或 `CANCELLED`）。 - **适用场景**：大数据量的离线批处理，例如每日数据仓库同步。性能取决于网络带宽和文件大小，一般支持 TB 级数据导入。 - **优点**：高吞吐、支持压缩；**缺点**：延迟较高（分钟级），不适合实时同步。 #### 2. **Routine Load（流式导入）** - **描述**：Routine Load 用于从消息队列（如 Kafka）实时导入数据。它通过消费者组持续订阅消息，自动分发到 Doris 表。支持数据过滤和转换，适用于流处理场景[^2]。 - **实现步骤**： 1. **设置 Kafka**：确保 Kafka 集群运行，并创建 topic（如 `doris_topic`）。 2. **创建导入作业**：定义 Routine Load 任务，指定 Kafka broker、topic 和表映射。 ```sql CREATE ROUTINE LOAD example_load ON my_table PROPERTIES ( "desired_concurrent_number" = "3" ) FROM KAFKA ( "kafka_broker_list" = "broker1:9092", "kafka_topic" = "doris_topic" ); ``` 3. **数据处理**：Doris 自动将消息分批导入，每批作为一个事务提交。可通过 `SHOW ROUTINE LOAD` 监控进度。 - **适用场景**：实时数据同步，例如日志采集或 IoT 设备数据流。延迟低至秒级。 - **优点**：自动容错、支持并行消费；**缺点**：需维护 Kafka 集群，消息顺序可能受影响[^2]。 #### 3. **Binlog Load（变更数据捕获）** - **描述**：Binlog Load 专用于从 MySQL 等关系数据库同步增量数据（如 INSERT/UPDATE/DELETE）。它通过订阅数据库的 binlog 事件，实时捕获变更并导入 Doris。原理是 Doris 作为消费者接收 binlog 数据，并分发到不同 channel 处理[^3]。 - **实现步骤**： 1. **启用 MySQL binlog**：在 MySQL 中配置 `binlog_format=ROW` 并授权 Doris 访问。 2. **创建同步作业**：使用 SQL 定义 Binlog Load 任务，指定 MySQL 连接信息。 ```sql CREATE SYNC JOB example_sync FROM MYSQL ( "host" = "mysql_host", "port" = 3306, "user" = "user", "password" = "password", "database" = "db_name", "table" = "source_table" ) INTO DORIS_TABLE "target_table"; ``` 3. **监控与恢复**：Doris 自动处理断点续传；通过 `SHOW SYNC JOB` 查看状态。 - **适用场景**：数据库实时同步，例如 OLTP 到 OLAP 的数据迁移。延迟在毫秒到秒级。 - **优点**：精确捕获增量变更、低延迟；**缺点**：仅支持 MySQL 兼容源，配置较复杂[^3]。 #### 4. **INSERT 语句（手动导入）** - **描述**：通过标准 SQL INSERT 语句导入单条或小批量数据，适用于测试或小规模同步。每个 INSERT 作为一个事务，保证原子性[^1]。 - **实现步骤**： 1. **直接执行 SQL**：在 Doris 客户端或 JDBC 连接中运行 INSERT。 ```sql INSERT INTO my_table (col1, col2) VALUES (1, 'data'), (2, 'more_data'); ``` 2. **批量导入**：结合 `SELECT` 语句从其他表或外部查询导入。 ```sql INSERT INTO target_table SELECT * FROM external_table; ``` - **适用场景**：开发测试或小数据量实时插入。性能有限，不适合大数据。 - **优点**：简单易用；**缺点**：吞吐低，高并发可能阻塞集群。 #### 总结建议 - **批量同步**：优先用 Broker Load（HDFS/S3）或 INSERT（小数据）。 - **实时同步**：选 Routine Load（Kafka 流）或 Binlog Load（MySQL 变更）。 - **最佳实践**：结合 ETL 工具（如 Apache Flink）进行数据清洗；监控导入延迟和错误率确保可靠性。导入性能优化包括调整并发参数（如 Routine Load 的 `desired_concurrent_number`）和分区设计[^1][^2]。 如果您提供更多细节（如源系统类型或数据规模），我可以给出更定制化的方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值