Sqoop 把表导入 hive 出现的问题解决汇总

最新推荐文章于 2024-09-12 19:42:40 发布
最新推荐文章于 2024-09-12 19:42:40 发布
阅读量2.8k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： sqoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhangbcn/article/details/83014437

以下解决方案都是亲测可用的, 但不保证相同但处理方案

错误1.

Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
18/10/12 00:10:07 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
18/10/12 00:10:07 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

cp hive/lib/hive-common-3.0.0.jar sqoop/lib/  

把hive  lib 里面的hive-common-xxxx.jar 包 放入 sqoop 的 lib 下面

错误2.

再导入mysql 表到hive 的时候会报classNotFound 错误,参考 https://blog.youkuaiyun.com/quiet_girl/article/details/75160045

最低0.47元/天 解锁文章

200万优质内容无限畅学
sqoop/datax+hive+dolphinscheduler
csdn_gyb的博客
08-26 1593
sqoop/datax+hive+dolphinscheduler
sqoop数据导入hive 遇到的问题
asd1456732891的博客
07-19 1662
1.ERROR exec.DDLTask: java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.ObjectMapper.readerFor(Ljava/lang/Class;)Lcom/fasterxml/jackson/databind/ObjectReader; 造成的原因：sqoop与hive使用的jackson包的版本...
sqoop导入导出hive，mysql 出现的问题
weixin_44121200的博客
03-27 897
sqoop导入导出hive，mysql 出现的问题 1.从mysql导入到Hive 出现数据带入错误：当字段中存在输入tab键，会被hive识别多创建一条字段。 解决：sqoop import 语句中 添加 --hive-drop-import-delims 来把导入数据中包含的hive默认的分隔符去掉。 2.出现PRIMARY主键错误：com.mysql.jdbc.exceptions.jdb...
sqoop导入数据进hive中遇到问题的解决办法
轻言少语的博客
07-21 850
因为我是在导入成功后才写的文章，所以问题就不一一赘述了，直接解决方案。 我原版本信息：hive-2.3.6 hadooop2.7 sqoop-1.4.7 在网上找了很多方法，没有解决问题，没有导入数据成功，我就换了下hive版本 现版本信息： hive-1.2.1 hadooop2.7 sqoop-1.4.7 解决办法（依次执行）： 1. [root@hadoop01 ~]# cp /usr/local/hive1.2.1/lib/hive-common-1.2.1.jar /usr/
从sqoop到hive没报错 但是找不到表
在路上的博客
09-28 1150
导入语句 sqoop import –connect jdbc:mysql://zjy:3306/company –username root –password zjy123zjy --table staff1 –split-by id –hive-import –create-hive-table –hive-table staff_hive; 然后出现下面的场景 没报错 以为成功了 就去...
从oracle导入hive,Sqoop将Oracle数据导入至Hive中界面无错却依旧没有数据导入
weixin_39907131的博客
04-12 489
一、生产环境Oracle:11g R2版本Sqoop:1.4.6版本Hive:1.1.1版本(利用MySQL作为MetaStore)Hadoop:2.6.3版本(其中Sqoop、Hive、Hadoop均是搭建在Centos6.6 64位上的)远程登录软件:Xshell 5二、需求需要将Oracle中的多张表通过Sqoop导入至Hive中，Oracle在远程服务器上，表中记录大小不一，少则几十条，多...
使用shell脚本执行hive、sqoop命令的方法
09-15
Hive可以用于数据汇总分析，而Sqoop则被用来在Hive和关系型数据库之间进行高效的数据迁移。为了提高工作效率，简化操作流程，通常会通过Shell脚本来批量执行这些命令。下面我们就来详细探讨一下如何使用Shell脚本来...
使用Sqoop工具自动导入MySQL数据到Hive的脚本教程
- 数据导入完成后，MapReduce作业将结果汇总，并把数据存入指定的Hive表中。 6. ** Sqoop命令结构**：Sqoop命令通常包含导入（import）和导出（export）操作。在导入操作中，命令可能遵循如下格式：`sqoop import ...
CentOS7 配置HIVE/Sqoop遇到的问题+解决方法汇总
sinat_33769106的博客
07-02 799
第0部分：一些非常常见的Linux虚拟机操作问题问题①：centos系统不是用root用户登录的，各种修改和查找操作都提示权限不够解决方案：要么sudo -i 切换到root用户，要么就每一句都加sudo问题②：虚拟机配置静态ip（必须配置静态Ip，否则完全分布式互相连不上网就GG了）教程：https://www.linuxidc.com/Linux/2017-06/144401.htm?hmsr...
问题记录-sqoop(mysql-＞hive)乱码问题,导入时卡住或者报错等相关问题
最新发布
m0_69556081的博客
09-12 481
下面进入正题，目前从这个抽数和存储的过程来看，涉及到字符集的有两部分，一个是源数据存储的mysql数据库的字符集，一个是hive数据库的字符集(存储在mysql的metastore中)，hive数据库的字符集默认是latin1,而我的hive数据库的建表语句的文件的字符集是utf-8,在建表语句中会出现某个字段的描述信息，表的描述信息，这些信息一般是中文的，然后在建表之后，查询出来的结果就是乱码了。为了解决这个问题，在hive元数据的数据库中相关描述信息的字段要设置为utf-8字符集，具体操作。
使用sqoop导入数据到hive问题总结
09-27 575
解决过程：网上搜索很多的原因都说是因为mapreduce内存或者是datanode内存不足，各种配置都没解决，最后检查hive建表语句发现字段对不上，还是太粗心。原因：hive表字段指定了分区，但导入的时候没有指定分区。解决：修改hive表字段或者指定分区。原因：mysql驱动包搞错了。解决：更换mysql驱动包。
sqoop 迁移 oracle 数据到 hive ，卡住 Connecting to jdbc:hive2://
Lbg_007的博客
07-02 1273
现象： sqoop 迁移 oracle 数据到 hive ，卡在Connecting to jdbc:hive2://.... 解决： 在 /etc/hive/conf 增加 beeline-hs2-connection.xml 内容如下： <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <propert..
sqoop将mysql导入hive异常：running import job: java.io.IOException: Hive exited with status 1
wangyichina的博客
04-24 2792
搭建hadoop环境遇到一个大坑：hadoop技术栈版本不匹配问题。搭建完hive后，和hdfs之间单独运行测试没有问题。搭建完sqoop后，sqoop和hdfs配合使用也没问题。三者共同使用，执行以下命令，将mysql中的表导入到hive中：sqoop import --connect 'jdbc:mysql://192.168.174.131:3306/ecp?useUnicode=true&...
sqoop将mysql数据导入hive中出现问题 java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
xiaobao5214的博客
11-30 4117
[root@hadoop4 bin]# sqoop create-hive-table  --connect jdbc:mysql://192.168.2.14:3306/mydb --username root --password 123456 --table employee --hive-table employee --fields-terminated-by "\t" Warning:...
解决：Sqoop导入数据到Hive连接hiveserver2卡住
我的博客
07-27 3168
问题 执行sqoop job要将mysql中数据导入hive表，执行到连接hiveserver2时就卡住不动 单独执行连接hiveserver2可以正常连接 Import options: sqoop import --connect jdbc:mysql://xxx:3306/test --username xxxxx --password xxxxxx --table t_user --fields-terminated-by '\001' --hive-import --hive-data
用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql
weixin_34006468的博客
12-07 582
1：创建shell脚本 1 touch sqoop_options.sh 2 chmod 777 sqoop_options.sh 编辑文件 特地将执行map的个数设置为变量 测试 可以java代码传参数 同时也验证sqoop的 options 属性支持这种写法 1 #!/bin/bash 2 /opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/...
sqoop从mysql导数据到hive异常
BlueSky的博客
07-25 874
1 异常信息： com.mysql.jdbc.exceptions.jdbc4.MySQLDataException: '18446744073387431615' in column '5' is outside valid range for the datatype BIGINT. at sun.reflect.NativeConstructorAccessorImpl.newIn...
sqoop操作之ORACLE导入到HIVE
weixin_34295316的博客
08-06 295
导入表的所有字段 sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP \ --hive-import --create-hive-table --hive-table emp -m 1;   如果报...
Java api 调用Sqoop2进行MySQL-->Hive的数据同步
qq_30629571的博客
09-15 6941
1.相关jar包 2.一些需要的参数定义在message.properties中 jdbcHiveUrl=jdbc:hive2://10.1.9.91:10000 //hive地址 jdbcHiveDriver=org.apache.hive.jdbc.HiveDriver // hive驱动 jdbc_mysql_driver=com.mysql.jdbc.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值