数据从mysql中导入hive表中异常解决：

最新推荐文章于 2024-05-12 08:11:44 发布
最新推荐文章于 2024-05-12 08:11:44 发布
阅读量2.2k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 随记 文章标签： mysql数据导入hive ERROR hive.HiveConfig
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/b_x_p/article/details/79180719

将数据从mysql中导入hive表中，出现异常ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf.

ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

解决办法：
（1）在配置文件/etc/profile中添加环境变量如下：


export HIVE_HOME=/home/bxp/Documents/install/hadoop-cdh5.10.0/hive-1.1.0-cdh5.10.0
export HADOOP_HOME=/home/bxp/Documents/install/hadoop-cdh5.10.0/hadoop-2.6.0-cdh5.10.0
export HIVE_CONF_DIR=/home/bxp/Documents/install/hadoop-cdh5.10.0/hive-1.1.0-cdh5.10.0/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

（2）执行source /etc/profile使得新配置的环境变量生效。（此语句执行只在当前终端和重新启动的终端中生效，对于已经启动的终端不生效，需要关闭终端重启或者执行此语句才能生效）

【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
LifeIsGood
06-15 1237
【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
mysql的数据导入到hive表timestamp值异常问题解决
aizhenshi的博客
08-13 2728
mysql的数据导入到hive表中报错: Error: java.io.IOException: SQLException in nextKeyValue     at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277)     at org.apache.hadoop.mapred...
将MySQL数据导入hive时报错发现如下错误
weixin_43021950的博客
11-25 1598
报错如下 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ ShimLoader Caused by: java.lang.Cl...
使用Sqoop1.4.6从MySQL导数据到Hive失败
zhikanjiani的博客
09-16 593
SQOOP 把MySQL中的数据导入到Hive中： 语句如下： sqoop import \ --connect jdbc:mysql://localhost:3306/ruoze_g6 \ --username root --password 960210 \ --delete-target-dir \ --table city_info \ --hive-import \ --hive-tab...
mysql数据导入hive出现错误ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf.
weixin_41018467的博客
02-12 5051
ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. mysql导入数据到hive 在sqoop根目录输入命令： ./bin/sqoop import --connect jdbc:mysql://xxx.xx...
hivecontext连接mysql_hive连接MySQL报错
weixin_39843698的博客
01-19 196
[root@awen01 /usr/local/apache-hive-1.2.1-bin]#./bin/hiveLogging initialized using configuration in jar:file:/usr/local/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.propertiesException ...
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 940
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
datax数据从hive导入mysql数据缺失解决
01-18
在使用 DataX 将数据从 Hive 表导入 MySQL 表的过程中，遇到了数据缺失的问题。具体表现为，在某些特定条件下（如数据块大小超过 256M 时），导入到 MySQL 的数据量少于预期。 #### 现象分析 根据观察发现，当数据...
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者转换时需要注意，再数据迁移json模板中，"nullFormat": "\\N", 该配置信息就是解决了数据迁移是存在的Null值。 2.如果hive中没有数值DataX...
Hive导入mysql数据丢失_记录一次 Sqoop 从 MySQL 导入数据到 Hive 问题的排查经过
weixin_39597987的博客
02-23 1272
问题描述MySQL 中原始数据有 790W+ 的记录数，在 Sqoop 抽取作业成功的情况下在 Hive 中只有 500W 左右的记录数。排查过程数据导入脚本 Log通过 Log 可以发现以下信息：该 Sqoop 任务被分解为 4 个 MapTask。MapTask 执行期间有异常，是网络异常导致 MySQL 连接不成功。Sqoop 任务对应的 MR 执行过程中总的被调起 9 个 MapTask，...
hive mysql 失败_把数据从hive导入到mysql时候出错，求大神
weixin_33340636的博客
02-01 305
该楼层疑似违规已被系统折叠隐藏此楼查看此楼请问解决了么 我也碰到了这个问题 不知道是哪里没配置好。。14/08/08 09:45:43 ERROR security.UserGroupInformation: PriviledgedActionException as:hduser (auth:SIMPLE) cause:java.io.FileNotFoundException: File ...
[sqoop篇]将MySQL库表中的数据导入到hive中报错hive.表名 already exists
alone554的博客
09-02 1424
一、执行语句 二、报错内容 三、报错原因 hive.defaults. ods_test_stu表已经存在，所以我不能继续在hive中创建ods_test_stu表 四、解决方案 方法1.修改导入进hive中的表名 ，既将执行语句中的参数--hive-table ods_test_stu中的ods_test_stu改了(例如此处我将表名改为ods-test_student) 方法2.删除之前主节点导入hive中的表,也就是hive里的ods_test_stu表
[Hadoop] Sqoop 从MySQL导入数据到hive表报错“Could not load org.apache.hadoop.hive.conf.HiveConf”解决
Cindy的博客
06-27 1289
Sqoop从MySQL导入数据到Hive表报错：ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.[hadoop@hadoop01 ~]$ sqoop create-hive-table --connect jdbc...
sqoop将mysql数据导入hive时常见报错报错解决方案
qq_42668255的博客
08-31 1188
一、导入命令： sqoop import --connect jdbc:mysql://172.20.5.117:3306/userinfo --username root --password gzp --table userinfo --target-dir /test2 --hive-import --hive-table userinfo 二、报错一：ERROR tool.Imp...
利用sqoop从Mysql中导入数据到Hive中某种错误的解决办法
u013771764的博客
04-03 566
Problem： 如果你利用Sqoop从Mysql中导入数据到Hive中，各种hive配置的配置都没有问题，但是一直报如下的错误 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. Solution： 可以尝...
hive数据导入mysql失败的解决方法
weixin_68076101的博客
05-12 812
修改配置文件yarn-site.xml ，参数不固定。如果上述问题解决不成功，可以继续尝试下边的命令。必须重新启动hadoop。
解决使用Kittle从MySql导入数据到hive表中数据不显示
qq_45739020的博客
05-07 512
先看问题kittle没报错但数据没有同步到hive，表中字段无数据 解决方法：首先要确保连接mysql的数据是可以正常预览 在字段选择中尤其要注意字段类型是date类型 hdfs输出就要把date改成出utf8 在这里插入图片描述 然后在修复分区数据库中的表 msck repair table itcast_ods.itcast_orders; msck repair table itc...
使用sqoop从wind上的mysql导数据到hive上报错
H_sir_Y的博客
03-05 267
```20/01/16 11:32:31 ERROR manager.CatalogQueryManager: Failed to list databases java.sql.SQLException: Access denied for user 'root'@'192.168.1.104' (using password: YES) at com.mysql.jdbc.SQ...
sqoop从mysql导入到hive常见问题
cclovezbf的博客
09-05 1592
mysql中的数据，表中列出了数据导入过程中的“脏”数据\t，\n，\r，Null，下面列出了解决思路 id=2 这里的des 里面有1个换行符实际为 1234 567 id=3 desc有一个\t 实际为1234 567 id=4 desc is null 如果直接通过一般的sqoop导入语句 bin/sqoop import \ --co...
Mysql导入数据至Hive中
最新发布
04-13
### 数据迁移方法 #### 方法一：使用 Sqoop 实现 MySQL 到 Hive 的数据导入 通过 Sqoop 工具可以方便地将 MySQL 中的数据迁移到 Hive。其核心原理是先将数据从 MySQL 导入到 HDFS，然后再由 Hive 加载这些数据[^1]。 以下是基本命令结构： ```bash sqoop import \ --connect jdbc:mysql://<host>:<port>/<database> \ --username <username> \ --password <password> \ --table <table_name> \ --target-dir /path/to/hdfs/directory \ --hive-import \ --hive-database <hive_database_name> \ --hive-table <hive_table_name> ``` 此过程需要注意的是，在执行过程中可能会遇到依赖冲突等问题。例如，如果 Sqoop 缺少某些必要的库文件，则可能导致任务失败。一种常见的解决办法是将 Hive 所需的 jar 文件复制到 Sqoop 的 lib 目录下[^3]。 --- #### 方法二：批量导入多个表并处理异常情况 当需要一次性导入多个表时，可以通过编写 Shell 脚本来完成自动化操作。下面是一个典型的脚本示例： ```bash #!/bin/bash while read line do sqoop import \ --driver com.mysql.cj.jdbc.Driver \ --connect jdbc:mysql://<host>:<port>/<database>?characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull \ --username <username> \ --password <password> \ --table "$line" \ --num-mappers 1 \ --hive-import \ --fields-terminated-by ',' \ --hive-overwrite \ --hive-database <hive_db_name> \ --hive-table ods_"$line" \ --null-non-string '\\N' \ --null-string '\\N' done < table_list_file.txt ``` 上述脚本能够逐行读取 `table_list_file.txt` 文件中的表名，并依次调用 Sqoop 命令将其导入到指定的 Hive 表中[^2]。 --- #### 注意事项 1. **字段分隔符设置** 如果 MySQL 和 Hive 的字段分隔方式不同，可以在 Sqoop 命令中通过参数 `--fields-terminated-by` 进行调整。 2. **空值处理** 对于非字符串类型的 NULL 值，默认情况下可能无法正确解析。因此建议显式定义 `--null-non-string` 和 `--null-string` 参数来统一表示 NULL 值。 3. **权限管理** 确保运行 Sqoop 的用户具有足够的权限访问目标目录以及源数据库资源。 --- ### 总结 无论是单次还是批量导入场景，都可以借助 Sqoop 完成高效的数据迁移工作。同时针对可能出现的各种兼容性问题，提前做好环境配置和错误排查准备是非常重要的。 相关问题
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值