1.业务上有需求需要并发读取多个来源表,然后插入到目标表,询问是否会有啥报错?
2.第一感觉是可能会发生并发写报错,然后进行测试。
3.准备数据1G(太少看不到过程),按行划分
4.建立三张表test1.,test2,test3
create table test1(id string);
create table test2(id string);
create table test3(id string);
5.test1,test2为来源表,test3为目标表
6.首先test1,test2load数据
7.然后打开两个窗口,同时执行insert select操作
insert into table test3 select * from test1 where id != "";
insert into table test3 select * from test2 where id != "";
8.执行期间在打开一个窗口查看test3表的hdfs路径下文件变化
首先会有两个临时目录产生,对应两个job的各自目录
执行完成后观察变为如下:
本文通过实测探讨了在Hive中并发从多个源表插入到同一目标表的情况。测试结果显示,Hive在并发写入时会创建临时目录,并避免并发写错误,最终将数据合并到000000_0_copy_1等文件中,证实了并发写入的可行性。
订阅专栏 解锁全文
4425

被折叠的 条评论
为什么被折叠?



