抽取数据到impala数据量异常

最新推荐文章于 2023-01-30 11:52:51 发布

hyfstyle

最新推荐文章于 2023-01-30 11:52:51 发布

阅读量1.1k

点赞数

分类专栏： kettle

本文链接：https://blog.youkuaiyun.com/hyfstyle/article/details/105070415

版权

最近，用kettle把DB2的数据抽取到impala上，发现数据量异常，数据错开等情况。

检查发现DB2源表里的数据某个字段中内容含有英文的逗号，而impala上建的表TERMINATED BY ','也用英文逗号分隔的，所以造成数据错乱；另外源表数据字段内容包含换行、回车符也会导致到impala数据分隔异常数据错乱。
解决方案：针对分隔符,导致的 ;可以换一种分隔符 |，重新建表

CREATE TABLE DB_NAME.TB_NAME (
        ROW_ID DECIMAL(20,0),
        SLOGAN STRING,
        CREATED_TIME TIMESTAMP

)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
WITH SERDEPROPERTIES ('field.delim'