DataX将HDFS数据迁移到Mysql中NULL值的处理

DataX迁移NULL值问题

原创

已于 2022-04-12 11:29:19 修改 · 4.6k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #hive

于 2021-12-18 17:06:17 首次发布

本文介绍了使用DataX从HDFS迁移到MySQL时遇到的NULL值转换问题，并提供了两种解决方案：一是修改源码，二是调整JSON配置文件中的nullFormat参数。

出现该问题的原因，再hive中，null的存储时为"\N"，Mysql的null值就是null，所以再进行数据迁移的时候需要考虑该问题

方法一：

方法一采用修改源码：
在这里插入图片描述
具体实现代码块：

// it's all ok if nullFormat is null
// 解决datax抽hdfs数据到mysql之null值变成 \N 或者 转换错误 的问题
if (columnValue.equals(nullFormat) || columnValue.equals("\\N") ) {
   
   
	//LOG.info("********** string的 原始值 为 "+columnValue+" ******");
	columnValue = null;
}