- 博客(1)
- 收藏
- 关注
RSS订阅原创 二次开发DataX以支持HIVE分区表
问题最近在一个大数据的项目开发中使用到了数据同步工具DataX，但在使用过程中发现了DataX对HIve分区表的支持不太友好。具体体现在将数据库中的数据同步到HIVE分区表时，写入目录为HIVE表分区为dt=XXXX,如果不提前创建该分区，会报目录不存在的错误，如下图：原因分析 这个错误是由于DataX不支持在HDFS上创建目录导致的。解决办法二次开发DataX，在写入时检测目录，若目录不存在自动创建
2022-10-11 18:09:35
2819
11
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人