用Sqoop将mysql中的表和数据导入到Hive中

最新推荐文章于 2025-05-29 08:42:27 发布
最新推荐文章于 2025-05-29 08:42:27 发布
阅读量1.3k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/leprovision/article/details/87698064
本文介绍了如何通过Sqoop将MySQL中的表和数据迁移到Hive中，包括MySQL的安装、Hive的配置、Sqoop的使用，以及数据导入的具体步骤。同时，文章展示了创建Hive表的语句，并提供了MySQL建表脚本作为参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1、安装mysql 
  查询以前安装的mysql相关包
  rpm -qa | grep mysql
  暴力删除这个包
  rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps
  
  rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm 
  rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm
  
  执行命令设置mysql
  /usr/bin/mysql_secure_installation
  
  
  GRANT ALL PRIVILEGES ON hive.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
  FLUSH PRIVILEGES

  2、安装hive，将hive添加到环境变量当中

  3、安装sqoop，（备注：sqoop和hive安装在同一台服务器上）

 4、mysql中如下两张表，user_info 和 trade_detail （建表语句见最后）：

最低0.47元/天 解锁文章

200万优质内容无限畅学
使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6583
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
sqoop mysql到hive_用sqoop将mysql的数据导入到hive表中
weixin_42524100的博客
01-20 292
1：先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下bin/sqoop import \--connect jdbc:mysql://172.16...
任务16：使用Sqoop将Hive结果数据导入到MySQL
最新发布
bangbinbing的博客
05-29 1169
任务描述任务指导Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。本次任务的内容为使用Sqoop实现数据从MySQL 到HDFS的导入、导出。
sqoop--mysql表导入hive
WarmthYan
06-08 464
mysql 导入 hive 如果使用之前的方式 需要3个步骤： 1、mysql -> HDFS 2、创建hive表 3、将数据load到hive表中 如果可以直接把mysql的数据导入hive中进行分析，会相当的方便 bin/sqoop import \ --connect jdbc:mysql://[hostname]:3306/sqoop \ --username root \ --pa...
sqoop将Mysql数据导入Hive中
Data & Analysis
07-24 1509
本实验Sqoop版本：Sqoop 1.4.6.2.6.0.3-8 1 mysql创建表 DROP TABLE IF EXISTS `testsqoop`; CREATE TABLE `testsqoop` ( `XH` varchar(255) CHARACTER SET utf8 NOT NULL COMMENT '序号', `SSQ` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '所属区' ) ENGINE=InnoDB...
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
sqoop mysql to hive_使用sqoop将mysql数据导入到hive中
weixin_35965587的博客
01-18 1511
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1准备一张数据库表：接下来就可以操作了。。。一、将MySQL数据导入到hdfs首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。再Hdfs上创建目录hadoop fs -mkdir -p /data/base　　#用于存放数据我们cd到sqoop目录下...
【Sqoop】MySQL表导入Hive
LS154952447的博客
04-16 1566
用 Sqoop 将 MySQL 指定数据库指定的表导入Hive 的指定数据库。
利用sqoop将MySQL数据导入HDFS、Hive、HBase
qq_71375720的博客
07-13 1037
此处的MySQLToHDFS.conf为相对路径，在执行脚本时要在文件MySQLToHDFS.conf所在的目录下执行。执行后的文件保存在hdfs上的/sqoop/data/student 目录下利用命令hadoop fs -ls /sqoop/data/student查看。加上这个参数，可以在导出MySQL数据的时候，使用MySQL提供的导出工具mysqldump，加快导出速度，提高效率。需要将master上的/usr/bin/mysqldump分发至 node1、node2的/usr/bin目录下。
sqoop将mysql数据库导入hive_用Sqoop将mysql中的表和数据导入到Hive中
weixin_26970501的博客
01-27 350
1、安装mysql查询以前安装的mysql相关包rpm -qa | grep mysql暴力删除这个包rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodepsrpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpmrpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm执行命令设置m...
【ETL工具】Sqoop 将MySQL数据导入Hive外部分区表
康师傅没有眼泪
01-30 1140
查询MySQL数据导入 hive 不用提前创建好 Hive, 会自动创建，字段类型可能不是我们想要的 加 hive-partition-key ,value 也会自动加分区
sqoop导入mysql的分区表_解决sqoop从mysql导入到hive表的多分区问题
weixin_39872257的博客
01-28 436
参考：http://blog.youkuaiyun.com/liweiwei71/article/details/23434189对于分区表drop table track_log;create table track_log (id string ,url string ,referer ...
Hive数据仓库-Sqoop将数据从Mysql导入Hive中
热门推荐
王洋的专栏
10-26 1万+
Sqoop是一个实现在关系型数据库和Hive进行数据交换的工具。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。参数hive导入参数 　　--hive-home 重写$
sqoop导入mysql数据到hive
jquery_learn的博客
05-15 1618
sqoop导入mysql到hive
Hive+Sqoop+Mysql整合
abxlep7702的博客
01-16 3471
Hive+Sqoop+Mysql整合 在本文中，LZ随意想到了一个场景： 车，道路，监控，摄像头 即当一辆车在道路上面行驶的时候，道路上面的监控点里面的摄像头就会对车进行数据采集。 我们对采集的数据进行分析，处理，最后把结果保存到mysql数据库中供Web UI显示监控点/摄像头状态。 A:监控点/摄像头状态 工作流程如下： 1.数据格式 /** ...
使用sqoop将mysql数据导入到hive中
qq_61594973的博客
02-04 3257
这个命令是，将mysql中kk数据库中的表student导入到hive的db_msg数据库的student表（该表可不存在，会自动创建）正常情况下，可以显示所有数据库。
用sqoop将mysql的数据导入到hive表中的两种方式（亲测）
IT晓白
02-13 4566
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \ --connect jdbc:mysql:/...
mysql到hive调度工具_从MySQL到Hive，数据迁移就这么简单
weixin_39750598的博客
12-22 616
使用Sqoop能够极大简化MySQL数据迁移至Hive之流程，并降低Hadoop处理分析任务时的难度。先决条件:安装并运行有Sqoop与Hive的Hadoop环境。为了加快处理速度，我们还将使用Cloudera Quickstart VM(要求至少4 GB内存)，不过大家也可以使用Hortonworks Data Platform(至少要求8 GB内存)。由于我的笔记本电脑只有8 GB内存，因此我...
使用sqoop将mysql数据表导入hive中
05-13
可以使用以下命令将MySQL数据表导入到Hive中： ``` sqoop import --connect jdbc:mysql://<MySQL Host>:<MySQL Port>/<MySQL Database> --username <MySQL Username> --password <MySQL Password> --table <MySQL Table> --hive-import --create-hive-table --hive-table <Hive Table> --fields-terminated-by ',' --lines-terminated-by '\n' ``` 其中，`<MySQL Host>`、`<MySQL Port>`、`<MySQL Database>`、`<MySQL Username>`、`<MySQL Password>`、`<MySQL Table>`、`<Hive Table>` 分别为 MySQL 数据库的主机名（或 IP 地址）、端口号、数据库名、用户名、密码、表名以及 Hive 中要创建的表名。 这条命令会将 MySQL 数据表的数据导入到 Hive 中，并且在 Hive 中创建一个新表。`--fields-terminated-by` 和 `--lines-terminated-by` 参数用于指定输入文件的字段分隔符和行分隔符。你可以根据需要修改这些参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值