doris 2.1.2并发导出数据到对象存储

背景

根据doris官网描述使用Select Into Outfile方式导出时,如果需要并发导出,只需要设置SET enable_parallel_outfile = true;即可
文档链接:Select Into Outfile

但是实际操作中,这样并不会生效,可能还需要在会话中额外设置其他参数来解决

正确的使用姿势

SET enable_parallel_outfile = true;
set enable_pipeline_engine = false;
SELECT * FROM  `tmpdb`.tmp_table 
INTO OUTFILE "s3:/bucket_name/doris_export/ods.db/table_name/file_name"
FORMAT AS ORC
PROPERTIES(
 "s3.endpoint" = "",
    "s3.region" = "",
    "s3.secret_key"="",
    "s3.access_key" = "",
  "file_suffix" = ".orc",
    "max_file_size" = "200MB",
  "delete_existing_files" = "true"
);
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值