Sqoop实现mysql与hive数据表互相导入

最新推荐文章于 2024-02-04 12:25:32 发布
最新推荐文章于 2024-02-04 12:25:32 发布
阅读量867 收藏 1
点赞数 1
分类专栏： ETL工具 文章标签： hive sqoop mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45952294/article/details/120958425
版权
本文档详细介绍了如何搭建和使用Sqoop在Hadoop集群上进行MySQL到Hive的数据导入以及从Hive导出到MySQL的过程。包括配置文件修改、驱动包拷贝、版本检查、数据库连接测试以及具体的导入导出命令操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1. 上传解压搭建sqoop

在这里插入图片描述

1.1 解压后改名

在这里插入图片描述

1.2 修改配置文件

vim /etc/profile    
source /etc/profile

在这里插入图片描述

1.3 重命名

mv sqoop-env-template.sh sqoop-env.sh

在这里插入图片描述

1.4修改配置文件

在这里插入图片描述

1.5拷贝mysql驱动包到/usr/sqoop/lib库下

cp ~/mysql-connector-java-5.1.48.jar /usr/sqoop/lib/

在这里插入图片描述在这里插入图片描述

1.6 sqoop version查看版本

在这里插入图片描述

1.7 测试连接

sqoop list-databases --connect jdbc:mysql://master1:3306/ --username root --password 123456

在这里插入图片描述

2.将mysql中学生表导入到hive中

2.1 先清空hive中的student表

在这里插入图片描述

2.2 MysqlToHive.opt 文件内容

在这里插入图片描述

2.3 执行命令

sqoop --options-file  MysqlToHive.opt

在这里插入图片描述
在这里插入图片描述

3. 将hive中student表导出到mysql的学生表中

3.1 先清空mysql中的学生表

在这里插入图片描述
在这里插入图片描述

3.2 HiveToMysql.opt 文件内容

在这里插入图片描述

3.3 执行命令

sqoop --options-file  HiveToMysql.opt

在这里插入图片描述在这里插入图片描述

使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6551
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
sqoop mysql to hive_使用sqoop将mysql数据导入到hive中
weixin_35965587的博客
01-18 1499
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1准备一张数据库表：接下来就可以操作了。。。一、将MySQL数据导入到hdfs首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。再Hdfs上创建目录hadoop fs -mkdir -p /data/base　　#用于存放数据我们cd到sqoop目录下...
【Sqoop】MySQL表导入Hive
LS154952447的博客
04-16 1553
用 Sqoop 将 MySQL 指定数据库指定的表导入Hive 的指定数据库。
sqoop mysql到hive_用sqoop将mysql的数据导入到hive表中
weixin_42524100的博客
01-20 284
1：先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下bin/sqoop import \--connect jdbc:mysql://172.16...
用sqoop导入mysql数据到hive
qq_45755385的博客
10-07 795
用sqoop导入mysql数据到hive。
使用Sqoop将MySQL数据导入Hive
刘李404not_found的博客
08-27 1395
一、说明 MySQL数据导入Hive方法与导入HDFS类似：https://blog.youkuaiyun.com/qq_39680564/article/details/100081659，Sqoop只是将数据导入HDFS后再转成Hive表 二、Hive参数 Hive除了自己的参数，同样也支持import的参数，见导入HDFS文章 --hive-home <dir> 覆盖 $HIVE_HOM...
使用sqoop将mysql数据导入到hive中
最新发布
qq_61594973的博客
02-04 3159
这个命令是，将mysql中kk数据库中的表student导入到hive的db_msg数据库的student表（该表可不存在，会自动创建）正常情况下，可以显示所有数据库。
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
sqoop从mysql到hive的时间字段问题
01-07
一、问题发现与分析 ...经过对比：sqoop在转换MySQL的datatime字段类型为hive的string时会出现问题：默认先转为对应时间戳，再转换为北京市区时间，就会使时间多8小时。 解决办法有两个： 1、在sql里将时间字段转换为
SQOOP从MySQL导入数据到Hive
热门推荐
UniqueChunBlog
10-22 1万+
一、导入Hive表时自动创建表 1、执行sqoop语句sqoop import \ --connect jdbc:mysql://hadoop001:3306/sqoop \ --username root \ --password 123456 \ --table emp_etl \ -m 1 \ --hive-import \ --create-hive-table \ --hive-tab
利用sqoop把MySQL数据导入Hive
即心即佛
02-02 288
环境准备 1. 安装Hadoop 2. 安装Hive 安装Sqoop cd /opt/install wget https://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/bigdata cd /opt/bigdata/sqoop-1.4.7.bin__hadoop-2.6.0/..
sqoop从mysql_（一) sqoop从mysql导入到hive
weixin_42303616的博客
02-01 143
【sqoop官方文档】 http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_incremental_imports--1、 mysql建表drop table cust_info;create table cust_info(`id` bigint comment '编号',`telephone` VARCHAR(20) commen...
sqoop mysql to hive,使用Sqoop将数据从MySQL导入Hive
weixin_36231030的博客
01-18 100
I am using Sqoop (version 1.4.4) to import data from MySQL to Hive. The data will be a subset of one of tables, i.e. few columns from a table. Is it necessary to create table in Hive before hand. Or i...
sqoop:mysql import to hive
qq_29416019的博客
11-09 264
导入hdfs 然后进行load data import to hive sqoop import –connect jdbc:mysql://localhost:3306/chen –username root –password 123 –table test –delete-target-dir –hive-import –hive-table test 导入分区表...
使用Sqoop导出Mysql数据到Hive（实战案例）
邵奈一的博客
05-12 2476
教程目录0x00 教程内容0x01 SQL文件准备1. 准备sql脚本2. 执行sql脚本0x02 导出Mysql数据到Hive1. 导出数据到HDFS2. 构建Hive表关联HDFS（movie表）3. 构建Hive表关联HDFS（user_rating表）3.1 模拟增量添加数据操作4. 构建Hive表关联HDFS（users表）0xFF 总结 0x00 教程内容 SQL文件准备 导出Mys...
Sqoop MySQL 导入到Hive
小烁笔记
04-21 1590
将数据库phx中的tree表的数据导入到Hive中命令：sqoop import --connect jdbc:mysql://node1:3306/phx \--username root \--table tree \--hive-import \--hive-overwrite \--create-hive-table \--hive-table tree1 \--target-dir /sq
MySQL表用Sqoop方式导入到Hive表中
QingKong0518的博客
12-25 1368
将MySQL数据库的表用Sqoop方式导入到Hive中1、首先在Hive中新建数据库MyDB， 2、然后打开putty软件，登录到安装Hive的服务器，输入用户名和密码后，进入到[root@hdp~]，利用Sqoop语句按照指定MySQL数据库的表新建Hive表，语句如下：sqoop create-hive-table --connect jdbc:mysql://***.**.***.**:33
sqoop案例：MySQL迁移至Hive
刘李404not_found的博客
11-27 458
数据库 主机 测试库 MySQL 192.168.1.22 confluence_test Hive 集群 confluence_test 文章目录可选参数说明1、查看MySQL中的所有数据库2、查看confluence_test库中的表3、查看user_mapping表中的数据4、将user_mapping表导入Hive的confluence_test库5、将user_m...
用sqoop将mysql的数据导入到hive表中的两种方式（亲测）
IT晓白
02-13 4560
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \ --connect jdbc:mysql:/...
使用Sqoop实现MySQL到Hive的增量数据抽取
在增量导入时，Sqoop提供了一些特定的参数来实现数据的增量抽取。例如，使用`--check-column`来指定字段，`--incremental`来指定增量类型（`append`表示增量导入），以及`--last-value`来记录上次导入的最大值。 ##...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值