Sqoop抽取文本数据到hive由于存在空字符导致字段错位和丢失错误

lyp5257918

于 2016-12-22 21:38:45 发布

阅读量8.2k

点赞数

分类专栏： Sqoop 文章标签： sqoop hive hdfs

本文链接：https://blog.youkuaiyun.com/lyp5257918/article/details/53820690

版权

当使用 Sqoop 抽取包含空格的文本数据到 Hive 时，字段可能出现错位和丢失。解决方法是在创建 Hive 表时设置 `escaped by '\'` 并在 Sqoop 命令中添加 `--escaped by '\'` 参数。这样可以确保数据正确导入，防止字段截断。如果不慎遗漏，可以通过 ALTER TABLE 添加转义属性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

  用sqoop抽取数据的时候，若记录中含有“由空格组成的字符串”，由于空字符串是由引号括起来，因此，需要对引号进行转义。否则sqoop 完成后， hive加载hdfs文件时，会自动对其截断，从而导致字段数增多。 

  解决的办法分为2步 : 

  1、建表的时候设定escaped 属性：escaped by '\\'。 

eg:

  row format delimited 

  fields terminated by '\t' 

最低0.47元/天解锁文章