本文介绍了两种Hive分区数据加载的方法：一是通过动态载入方式逐条加入分区；二是使用设置变量并编写SQL脚本的方式进行加载。前者适用于初始导入大量数据场景，后者则适合每日更新数据的需求。
第一种方式是
先将准备好的数据放到hive里，通过动态载入的方式将数据条条加入分区
可以参考我写得 kettle hive 表动态分区思路
第二种方式是设置变量
然后写sql脚本的方式load数据到分区里
这两种方法适用于不同场合
如果是每日更新数据方式，可以采用第二种方法，使分区效率更高，
如果是初始导入大量数据的方式，可以采用第一种方法，在准备数据阶段分成几份依次导入，减少服务器负载
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
