sqoop:导出MySQL数据至Hive时,数据中包含\001或\n等字符
场景
使用sqoop从MySQL导出数据至Hive时,如果数据中包含hive指定的列分隔符,如\001 或\t,那么在Hive中就会导致数据错位;如果数据中包含换行符\n,那么就会导致原先的一行数据,在Hive中变成了两行。
解决办法
在sqoop执行时,使用如下参数:
--hive-drop-import-delims
导入Hive时,从字符串字段中删除\n、\r和\01。
--hive-delims-replacement
导入Hive,将字符串字段中的\n、\r和\01替换为指
原创
2020-09-10 17:40:03 ·
2703 阅读 ·
0 评论