java 实现 Hive 导入到 mysq

最新推荐文章于 2024-04-29 14:28:16 发布

原创

最新推荐文章于 2024-04-29 14:28:16 发布 · 2.7k 阅读

1 ·

CC 4.0 BY-SA版权

这是一个Java程序，用于克服sqoop在Hive到MySQL数据迁移时的限制，如字段映射、部分字段导入等问题。程序通过配置文件dump.conf进行表字段映射和设置，支持删除目标库数据以实现重复导入。程序处理过程中遇到的问题包括实时获取shell命令输出、文件追加模式、多表头处理等，并提供了相应解决方案。

[程序名] HiveToMysql

[作用 ] 从 hive 导出数据到 mysql

[描述 ] 由于 sqoop 对以下功能支持不好:
1.导出-导入字段的映射
2.只导入部分字段
3.导出时无法设置常量值给导入字段
4.支持重复导入/清除重复数据
故开发此程序,支持以上功能.
[用法 ] 运行 wrap_all.sh.

[额外 ] 本程序在处理出错时会返回错误码给上层调用者, 可以兼容 Tss 捕获脚本运行的错误. Tss 中将 wrap.sh 指定为运行脚本即可.

[配置 ] dump.conf 是总体配置文件.它指明了 hive 和 mysql 的库信息, 以及一些导出-导出配置, 如下:
1.dump.conf 中 ds 表示要导出大数据某个日期的数据. ds 不设置或设置为 ? 表示取上一个自然日期
2.一般情况下 dump.conf 变量的配置不需要更改.它们都有默认值.
3.delete_before_dump(默认为 false) 若设置为 true 则先从 mysql 库删除数据(where 条件参考的是 map 文件中配置的常量,见 map 配置),一般应该这样做,这样
可以支持重复导入. 但是如果程序