DATAX类型转换错误, 无法将[\\N] 转换为[LONG]

最新推荐文章于 2025-04-30 10:27:18 发布

原创最新推荐文章于 2025-04-30 10:27:18 发布 · 1.1k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#hive #etl

文章讲述了在进行数据同步时遇到的类型转换错误，Hive中的null值被误识别为[N]，无法转换为LONG类型。解决方法是通过设置`nullFormat`为\N来明确空值格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2023-11-23 01:08:11.996 [0-0-1-reader] ERROR StdoutPluginCollector - 脏数据: 
{"record":[{"byteSize":8,"index":0,"rawData":20231122,"type":3},{"byteSize":4,"index":1,"rawData":"WTD1","type":5},{"byteSize":6,"index":2,"rawData":126676,"type":3}],"type":"reader","message":"类型转换错误, 无法将[\\N] 转换为[LONG]"}

如上，数据同步时发现脏数据，报类型转换错误，无法将[\\N] 转换为[LONG]，原因是hive中的null值datax无法转为LONG，只需一步，指定空值格式即可。