增量数据与之前全量数据的合并

Hive中增量数据与全量数据的合并操作

最新推荐文章于 2024-08-29 22:33:34 发布

原创

最新推荐文章于 2024-08-29 22:33:34 发布 · 2.3k 阅读

3 ·

CC 4.0 BY-SA版权

本文介绍了如何在Hive中合并增量数据与全量数据。通过创建外部表，使用full outer join结合coalesce和if函数，实现了新旧数据的融合，并给出了最终的HQL语句示例。

--原数据
[root@master]# vi a_base_tab.txt
1001,sunwukong,assassin,male
1002,HANXIN,assassin,male

[root@master]# vi i_base_tab.txt
1002,hanxin,assassin,male
1003,zhaoyun,assassin,male

--上传数据
[root@master]# hadoop fs -put a_base_tab.txt /user/hive/external/a_base_tab
[root@master]# hadoop fs -put i_base_tab.txt /user/hive/external/i_base_tab

--创建外部表 a_base_tab
create external table a_base_tab
(id string,name string,job string,sex string)
row format delimited fields terminated by ','
location '/user/hive/external/a_base_tab';

--创建外部表 i_base_tab
create external table i_base_tab
(id string,name string,job string,sex string)
row format delimited fields terminated by ','
location '/user/hive/external/i_base_tab';

--测试 full outer 语法
select a.*,i.* from a_base_tab a full outer join i_base_tab i on a.id=i.id;
1001 sunwukong assassin mal