Hive中实现增量更新

本文介绍了如何在Hive中实现增量更新,通过处理上流变化的数据表student_temp,实现对已有学生表的更新操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

现在有一个学生表,其中包括有学生的id,年龄和名称。如下图所示:

hive> select * from student order by id;
OK
1       20      qiu     20140102
2       43      liu     20140102
3       23      zheng   20140102
4       32      yang    20140102
5       24      qian    20140102


根据上流得到的发生改变的数据表为student_temp,字段和属性与student表一致,包含的数据如下所示:

hive> select * from student_temp;
OK
2       10      liu     20140103
3       10      zheng   20140103
Time taken: 0.085 seconds


两个表进行full outer join,将student_temp表中发生修改的数据更新到student表中。

hive> select 
              student.id,
              coalesce(student_temp.age,student.age),
              student.
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值