hive多任务并发同时插入目标表

本文通过实测探讨了在Hive中并发从多个源表插入到同一目标表的情况。测试结果显示,Hive在并发写入时会创建临时目录,并避免并发写错误,最终将数据合并到000000_0_copy_1等文件中,证实了并发写入的可行性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.业务上有需求需要并发读取多个来源表,然后插入到目标表,询问是否会有啥报错?

2.第一感觉是可能会发生并发写报错,然后进行测试。

3.准备数据1G(太少看不到过程),按行划分

4.建立三张表test1.,test2,test3

create table test1(id string);
create table test2(id string);
create table test3(id string);

5.test1,test2为来源表,test3为目标表

6.首先test1,test2load数据

7.然后打开两个窗口,同时执行insert select操作

insert into table test3 select * from test1 where id != "";
insert into table test3 select * from test2 where id != "";

 8.执行期间在打开一个窗口查看test3表的hdfs路径下文件变化

首先会有两个临时目录产生,对应两个job的各自目录

 执行完成后观察变为如下:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

四月天03

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值