Doris数据导入和导出

最新推荐文章于 2025-03-23 09:15:00 发布

javaisGod_s

最新推荐文章于 2025-03-23 09:15:00 发布

阅读量1.5k

点赞数 1

文章标签： hadoop hdfs 大数据

本文链接：https://blog.youkuaiyun.com/sijiwang95/article/details/130146529

版权

本文介绍了Doris的数据导入方法，包括Brokerload用于从HDFS导入数据，Steamload处理数据流导入，以及RoutineLoad用于持续从Kafka导入数据。此外，还提到了数据导出功能，可将数据导出到HDFS等远程存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据导入

broker load

Broker 导入，主要用于从HDFS上把文件导入到Doris中。这是一个异步导入的方式。（任务执行成功并不代表数据全部都导入成功）

前提：启动HDFS。

案例演示：

--创建表
CREATE TABLE test_db.user_result(
id BIGINT,
name VARCHAR(50),
age INT,
gender INT,
province  VARCHAR(50),
city   VARCHAR(50),
region  VARCHAR(50),
phone VARCHAR(50),
birthday VARCHAR(50),
hobby  VARCHAR(50),
register_date VARCHAR(50)
)
DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 10
PROPERTIES("replication_num" = "1");

--创建导入作业
LOAD LABEL test_db.user_result
(
DATA INFILE("hdfs://node1:8020/datas/doris/user.csv")
INTO TABLE `user_result`
COLUMNS TERMINATED BY ","
FORMAT AS "csv"
(id, name, age, gender, province,city,region,phone,birthday,hobby,register_date)
)
WITH BROKER broker_name
(
"dfs.nameservices" = "my_cluster",
"dfs.ha.namenodes.my_cluster" = "nn1",
"dfs.namenod