mysql导数据到hive后换行符冲突的解决

在采用常用的数据迁移工具时，常会采用sqoop和dataX工具，在数据迁移时难免会遇到一些特殊字符的处理，比如hive里的换行符\n无法更改，而原数据源难免的会存在一些数据格式会存储\n,如mysql里的mediumtext格式就会存储有\n，这是后数据存储进hive后就不可比遍的与hive的换行符冲突，造成数据的切分错乱。
解决方案：
方案一：
把换行符替换成空字符串，sqoop中有替换的参数，但是datax中没有。
如下 将下将换行符换成 ‘\n’，在sqoop的配置李添加下列参数
–hive-delims-replacement ‘\n’ \
方案二
有些场景中，为了保留数据的完整性，必须保留换行符怎么办呢？
既让换行符冲突，那么我们在存储数据时采用列式存储，这样就不会因为某字段存有换行符而导致数据错乱，常采用orc列式存储格式
步骤1.建时是指定存储格式和压缩格式添加如下参数：

ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
 TBLPROPERTIES (
  'orc.compress'='ZLIB')

步骤2.写sqoop导出数据到hive时指定存储压缩格式

 --hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="ZLIB")' \