使用sqoop将mysql数据导入到hive中

已于 2024-05-30 09:39:13 修改
阅读量3.2k 收藏 31
点赞数 4
CC 4.0 BY-SA版权
文章标签： hive sqoop mysql
于 2024-02-04 12:25:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_61594973/article/details/136023770
本文详细介绍了如何安装sqoop，测试与MySQL的连接，以及将MySQL数据导入Hive的过程。遇到HiveConfig加载问题时，提供了查找和修复环境配置的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

目录

 

完整流程

1：安装sqoop（直接官网下就行了）详细教程点这里

2.测试连接sqoop连接mysql

2-1代码与解释

2-2结果

3.导入mysql数据到hive中

4.导入成功截图

 遇到的问题

问题一：

完整流程

1：安装sqoop（直接官网下就行了）详细教程点这里

在sqoop中配置环境（例如在/opt/sqoop-1.4.7.bin__hadoop-2.6.0/conf）

这里的地址要找出你对应的zookeeper，hadoop，hive地址

2.测试连接sqoop连接mysql

2-1代码与解释

sqoop list-databases --connect jdbc:mysql://192.168.10.102:3306/ --username root --password 1111   

上面的地址是虚拟机地址，端口号默认为3306（也可以查一下此端口是否有mysqld，如下面），后面的是用户名（root）和密码（1111），都是根据自己的填

[root@hadoop102 ~]# sudo lsof -i :3306
COMMAND  PID  USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
mysqld  2428 mysql   53u  IPv6  93577      0t0  TCP *:mysql (LISTEN)

2-2结果

正常情况下，可以显示所有数据库

3.导入mysql数据到hive中

sqoop import 
--connect jdbc:mysql://192.168.10.102:3306/kk 
--username root 
--password 1111 
--table student 
--fields-terminated-by ',' 
--delete-target-dir 
--num-mappers 1 
--hive-import 
--hive-database db_msg 
--hive-table student   

这个命令是，将mysql中kk数据库中的表student导入到hive的db_msg数据库的student表（hive中的表可不存在，会自动创建）

4.导入成功截图

 遇到的问题

问题一：

问题：ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE CONF DIR is set correctly.

分析：hive的HiveConf无法正确加载("错误: 找不到或无法加载主类"报这个错的都可以试一试)

解决：

1：去到hive的lib目录下

2：这个命令的输出结果将显示hive-common-3.1.3.jar中包含的所有类文件，其中包含HiveConf类的行将被高亮显示出来。（在我这里，HiveConf类存在，说明环境没配好）

jar tf hive-common-3.1.3.jar Igrep HiveConf.class

3： vi .bash_profile（编辑环境变量）

4：加入下面这两句

 5：更新系统环境变量（source 一下）

q2103063372
关注
使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6582
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
mysql数据导入 hive_使用 sqoop 将mysql数据导入到hive（import）
weixin_36074668的博客
01-18 238
EFdeMacBook-Pro:bin FengZhen$ sqoop import --connect jdbc:mysql://localhost:3306/sqooptest --username root --password 123qwe --table sqoop_test --columns id,name,age --fields-terminated-by , --delete-...
用sqoop将mysql的数据导入到hive表中
weixin_33929309的博客
12-07 587
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \ ...
【Sqoop基础】Sqoop生态集成：与HDFS、Hive、HBase等组件的协同关系深度解析
最新发布
IT成长日记的博客
05-27 1625
Apache Sqoop（SQL-to-Hadoop）作为大数据生态系统中至关重要的数据迁移工具，在关系型数据库与Hadoop生态系统之间架起了高效的数据桥梁。随着企业数据量的爆炸式增长，传统ETL工具在处理海量数据时面临性能瓶颈，而Sqoop凭借其分布式架构和并行处理能力，成为大数据平台数据集成的事实标准。当执行导入操作时，Sqoop会将关系型数据库中的表数据转换为HDFS上的文件存储。Sqoop作为大数据生态系统的关键组件，通过与HDFS、Hive、HBase的深度集成，构建了完整的数据管道解决方案。
sqoop将Mysql数据导入Hive中
Data & Analysis
07-24 1506
本实验Sqoop版本：Sqoop 1.4.6.2.6.0.3-8 1 mysql创建表 DROP TABLE IF EXISTS `testsqoop`; CREATE TABLE `testsqoop` ( `XH` varchar(255) CHARACTER SET utf8 NOT NULL COMMENT '序号', `SSQ` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '所属区' ) ENGINE=InnoDB...
使用Sqoop将MySQL数据导入Hive
刘李404not_found的博客
08-27 1424
一、说明 MySQL数据导入Hive方法与导入HDFS类似：https://blog.youkuaiyun.com/qq_39680564/article/details/100081659，Sqoop只是将数据导入HDFS后再转成Hive表 二、Hive参数 Hive除了自己的参数，同样也支持import的参数，见导入HDFS文章 --hive-home <dir> 覆盖 $HIVE_HOM...
sqoop mysql to hive_使用sqoop将mysql数据导入到hive中
weixin_35965587的博客
01-18 1511
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1准备一张数据库表：接下来就可以操作了。。。一、将MySQL数据导入到hdfs首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。再Hdfs上创建目录hadoop fs -mkdir -p /data/base　　#用于存放数据我们cd到sqoop目录下...
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 950
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
利用sqoop将MySQL数据导入HDFS、Hive、HBase
qq_71375720的博客
07-13 1035
此处的MySQLToHDFS.conf为相对路径，在执行脚本时要在文件MySQLToHDFS.conf所在的目录下执行。执行后的文件保存在hdfs上的/sqoop/data/student 目录下利用命令hadoop fs -ls /sqoop/data/student查看。加上这个参数，可以在导出MySQL数据的时候，使用MySQL提供的导出工具mysqldump，加快导出速度，提高效率。需要将master上的/usr/bin/mysqldump分发至 node1、node2的/usr/bin目录下。
sqoop数据导入到Hdfs 或者hive
weixin_30780649的博客
05-06 608
用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql http://www.cnblogs.com/xuyou551/p/7999773.html 用sqoop将mysql的数据导入到hive表中 https://www.cnblogs.com/xuyou551/p/7998846.html 1：先将mysql一张表的数据用sqoop导入到hdfs中 ...
使用sqoop从mysql导入数据到hive
weixin_30302609的博客
05-18 306
前言 这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。 环境： 系统：Centos 6.5 Hadoop：Apache，2.7.3 Mysql：5.1.73 JDK：1.8 Sqoop：1.4.7 Hadoop以伪分布式模式运行。 一、使用的导入命令 我主要是参考一篇文章去测试的，Sqoop: Import Data From MySQL...
利用sqoop将某一数据库从MySQL导入hive
A12345689B的博客
09-19 835
数据库导入导出 第一步：在hive中创建数据库 在hive中创建一个数据库： 第二步：复制MySQL中表的名字 在mysql数据库，查询目标数据库下的所有表名，复制到你指定的文件中（如：/root/tables.txt） 第三步：编辑运行脚本 在home目录下，创建目录 mkdir scripts cd scripts编
【Sqoop】MySQL表导入Hive
LS154952447的博客
04-16 1564
用 Sqoop 将 MySQL 指定数据库指定的表导入Hive 的指定数据库。
用sqoop将mysql的数据导入到hive表中的两种方式（亲测）
IT晓白
02-13 4566
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \ --connect jdbc:mysql:/...
利用Sqoop将MySQL数据导入Hive中
07-25 305
初次写文章，之前都是学习别人写的东西，从今天开始学会记录、学会分享。 这段时间开始了Hadoop的学习，今天主要学习利用Sqoop从MySQL数据源向Hive中导入数据。 1.执行导入的操作命令：在Sqoop的安装目录下输入命令bin/sqoop import--connect jdbc:mysql://数据库主机ip:3306/数据库名 --username root --P ...
sqoop mysql to hive_使用Sqoop将数据从MySQL导入Hive
weixin_42466868的博客
01-18 112
I am using Sqoop (version 1.4.4) to import data from MySQL to Hive. The data will be a subset of one of tables, i.e. few columns from a table. Is it necessary to create table in Hive before hand. Or i...
MySQL通过接口导入hive_利用Sqoop将MySQL数据导入Hive中
weixin_39889544的博客
01-26 135
参考http://www.cnblogs.com/iPeng0564/p/3215055.htmlhttp://www.tuicool.com/articles/j2yayyjhttp://blog.youkuaiyun.com/jxlhc09/article/details/168568731.list databasessqoop list-databases --connect jdbc:mysql:/...
怎么使用sqoop将mysql数据导入Hive中
05-17
您可以按照以下步骤使用Sqoop将MySQL数据导入到Hive中： 1. 确认您的Hive和MySQL已经正确安装并且可以正常运行。 2. 在Hive中创建表，以便将MySQL中的数据导入到其中。例如，您可以使用以下命令创建一个名为“employee”的Hive表： ``` CREATE TABLE employee ( id INT, name STRING, age INT, gender STRING, salary INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` 3. 使用Sqoop将MySQL表中的数据导入到Hive表中。例如，您可以使用以下命令将名为“employee”的MySQL表中的数据导入到Hive表中： ``` sqoop import \ --connect jdbc:mysql://localhost/yourdatabase \ --username yourusername \ --password yourpassword \ --table employee \ --hive-import \ --hive-table employee \ --fields-terminated-by ',' \ --lines-terminated-by '\n' ``` 在该命令中，您需要将“yourdatabase”替换为您要导入的MySQL数据库的名称，“yourusername”和“yourpassword”替换为您的MySQL用户名和密码，“employee”替换为您要导入的MySQL表的名称。 4. 等待Sqoop将数据从MySQL表中导入到Hive表中。导入完成后，您可以使用Hive命令查询Hive表中的数据。 ``` SELECT * FROM employee; ``` 这将返回Hive表中的所有数据。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值