sqoop
Smile to everyday
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
sqoop导出mysql数据到hive中,因mysql中string类型字段中含有换行符导致拉取到hive,格式不正确,出现错误等现象
问题描述sqoop拉取mysql数据到hive中出现现象mysql数据到hive结构不对了,被打散了,变成一行一行中只有第一列有数据,其他均为null。或者压根就直接报错sqoop Opening field-encloser expected at position 0出现原因因为mysql某个字段中出现换行符,导致数据拉取时出现还没有拉去完直接进行了换行,算作下一行数据的开头。解决办法再sqoop拉取命令中加上这样一个命令--hive-drop-import-delims这条命令原创 2021-03-12 14:36:15 · 597 阅读 · 0 评论 -
sqoop数据导入hive及到处到mysql
条件准备复制jar包到sqoop的lib目录下#复制hive的jar包cp /opt/software/hive110/lib/hive-common-1.1.0-cdh5.14.2.jar /opt/software/sqoop146/libcp /opt/software/hive110/lib/hive-shims* /opt/software/sqoop146/libmysql数据导入hivesqoop import \--connect jdbc:mysql://localhost原创 2021-03-12 11:36:20 · 280 阅读 · 0 评论
分享