hive分隔符引发的坑

最新推荐文章于 2024-10-19 19:10:01 发布

weixin_49063354

最新推荐文章于 2024-10-19 19:10:01 发布

阅读量742

点赞数

分类专栏： hive

本文链接：https://blog.youkuaiyun.com/weixin_49063354/article/details/115486411

版权

在使用Sqoop从SQL Server导入数据到Hive时，由于BPM系统数据中的string2字段包含Hive默认分隔符' '，导致数据切分错误，产生额外的空值行和数据混乱。通过添加sqoop参数`--hive-drop-import-delims`，成功解决了分隔符问题，使数据条目与原始数据保持一致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive分隔符引发的坑

这两天在做公司 BPM 系统数据分析的工作，前期需要将 BPM 系统的数据导入到 HDFS 上，BPM 系统数据存储在 SQL Server 上，导入数据工具选择 Sqoop ，按照 Sqoop 操作惯例，需要先下载相应的驱动 jar 包，这里是网上下载的 mssql-jdbc-7.4.1.jre8.jar（图示上为 sql server 的驱动 jar 包，下为 mysql 的驱动 jar 包）；
在这里插入图片描述

然后将下好的 jar 包上传到 Sqoop 的 lib 目录下；

打开Hadoop相关进程，就可以执行数据的导入和导出操作了；

#App_K3Flow表数据同步（全量）
 /opt/module/sqoop/bin/sqoop import \
--connect "jdbc:sqlserver://172.31.xxx.xxx:1433;DatabaseName=kcpm" \
--username xx \
--password xxxxxx \
--target-dir /warehouse/data/App_K3Flow_test \
--delete-target-dir \
--query &