用Sqoop将mysql中的表和数据导入到Hive中

最新推荐文章于 2023-05-15 10:07:01 发布
原创 最新推荐文章于 2023-05-15 10:07:01 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何通过Sqoop将MySQL中的表和数据迁移到Hive中，包括MySQL的安装、Hive的配置、Sqoop的使用，以及数据导入的具体步骤。同时，文章展示了创建Hive表的语句，并提供了MySQL建表脚本作为参考。

  1、安装mysql 
  查询以前安装的mysql相关包
  rpm -qa | grep mysql
  暴力删除这个包
  rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps
  
  rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm 
  rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm
  
  执行命令设置mysql
  /usr/bin/mysql_secure_installation
  
  
  GRANT ALL PRIVILEGES ON hive.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
  FLUSH PRIVILEGES

  2、安装hive，将hive添加到环境变量当中

  3、安装sqoop，（备注：sqoop和hive安装在同一台服务器上）

 4、mysql中如下两张表，user_info 和 trade_detail （建表语句见最后）：

最低0.47元/天 解锁文章
使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6649
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
Sqoop利用Sql将mysql表_导入数据到Hive---大数据之Apache Sqoop工作笔记004
添柴程序猿的专栏
02-22 512
hive中去,但是一定要注意, 这里你可以添加之前我们加的那些条件,比如指定列导入 ,指定查询条件导入...这样组合都是可以的。执行过程中我们去看看hdfs,可以看到,他第一步,会把mysql的数据,先导入的hdfs的临时目录中,可以看到这里。然后我们看看执行过程,他分了两个步骤执行的,一个是从mysql中拿到数据,然后放到hdfs,临时创建的目录中,然后。然后我们不停刷新,可以看到,他会把mysql中获取的数据首先导入到hdfs中去,然后。然后我们就可以去hdfs中去看看hive的这个表了,可以看到在。
sqoop mysql到hive_用sqoop将mysql的数据导入到hive表中
weixin_42524100的博客
01-20 304
1：先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下bin/sqoop import \--connect jdbc:mysql://172.16...
sqoop--mysql表导入hive
WarmthYan
06-08 481
mysql 导入 hive 如果使用之前的方式 需要3个步骤： 1、mysql -> HDFS 2、创建hive表 3、将数据load到hive表中 如果可以直接把mysql的数据导入hive中进行分析，会相当的方便 bin/sqoop import \ --connect jdbc:mysql://[hostname]:3306/sqoop \ --username root \ --pa...
sqoop将Mysql数据导入Hive中
Data & Analysis
07-24 1613
本实验Sqoop版本：Sqoop 1.4.6.2.6.0.3-8 1 mysql创建表 DROP TABLE IF EXISTS `testsqoop`; CREATE TABLE `testsqoop` ( `XH` varchar(255) CHARACTER SET utf8 NOT NULL COMMENT '序号', `SSQ` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '所属区' ) ENGINE=InnoDB...
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
【Sqoop】MySQL表导入Hive
LS154952447的博客
04-16 1585
用 Sqoop 将 MySQL 指定数据库指定的表导入Hive 的指定数据库。
1. 使用sqoop将MySQL中的数据导入到HDFS中； 2. 使用Sqoop将MySQL中的数据导入到Hive中； 3. 使用Sqoop将HDFS中的数据导出到MySQL中。
最新发布
06-28
通常的做法是先将数据导入 HDFS，然后通过 Hive 的 `LOAD DATA` 命令将其移动到 Hive 表中，或者直接在 Sqoop 导入时指定 Hive 相关参数。 以下是一个示例命令，它将 MySQL 中的 `t_user` 表导入 Hive： ```bash ...
sqoop将mysql数据库导入hive_用Sqoop将mysql中的表和数据导入到Hive中
weixin_26970501的博客
01-27 362
1、安装mysql查询以前安装的mysql相关包rpm -qa | grep mysql暴力删除这个包rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodepsrpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpmrpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm执行命令设置m...
【ETL工具】Sqoop 将MySQL数据导入Hive外部分区表
康师傅没有眼泪
01-30 1250
查询MySQL数据导入 hive 不用提前创建好 Hive, 会自动创建，字段类型可能不是我们想要的 加 hive-partition-key ,value 也会自动加分区
sqoop导入mysql的分区表_解决sqoop从mysql导入到hive表的多分区问题
weixin_39872257的博客
01-28 447
参考：http://blog.youkuaiyun.com/liweiwei71/article/details/23434189对于分区表drop table track_log;create table track_log (id string ,url string ,referer ...
Hive数据仓库-Sqoop将数据从Mysql导入Hive中
热门推荐
王洋的专栏
10-26 1万+
Sqoop是一个实现在关系型数据库和Hive进行数据交换的工具。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。参数hive导入参数 　　--hive-home 重写$
sqoop导入mysql数据到hive
jquery_learn的博客
05-15 1652
sqoop导入mysql到hive
使用Sqoop实现HIve分析结果数据入mysql库
lrf2454224026的博客
09-11 1215
1.将hive作业中的结果，使用sqoop 导入mysql数据库。        创建stock表并导入数据                        创建stock_result表来存放stock的查询结果              自定义jar包并创建相应的函数（这一步走可以省略，可以使用hive自带的函数）                     将查询结果导入stoc...
Hive+Sqoop+Mysql整合
abxlep7702的博客
01-16 3553
Hive+Sqoop+Mysql整合 在本文中，LZ随意想到了一个场景： 车，道路，监控，摄像头 即当一辆车在道路上面行驶的时候，道路上面的监控点里面的摄像头就会对车进行数据采集。 我们对采集的数据进行分析，处理，最后把结果保存到mysql数据库中供Web UI显示监控点/摄像头状态。 A:监控点/摄像头状态 工作流程如下： 1.数据格式 /** ...
使用Sqoop将Mysql数据导入Hive踩坑
weixin_39347555的博客
04-12 2933
背景： 由于公司这个项目存在阿里云上，不能由DBA来维护，所以想要把数据从Mysql抽取到Hive上就需要我们自己来动手。。。 数据量不是很大，但是分了巨多的库；需要导入的只有7张表，但是大概有94个库，每个库下边都有这七张表。 初步设计方案是在把Mysql不同数据库的数据存放在Hive表不同的分区，就是一张hive表大概有90多个分区。 最初想法： 1.先用sqoop复制表结构； 2.循环数据库...
sqoop系列-MySQL导入HIVE时间格问题
数据新玩法
05-30 8118
问题描述 今天早上在做 sqoop MySQL 导入hive数据测试时发现 MySQL 中datetime和timestamp类型的数据导入hive时，选择不同的文件存储格式，会导致导入hive 后字段类型不一致。针对 MySQL 时间类型：datetime,date,time,timestamp 做了如下测试， 备注：涉及敏感信息的的变量，使用${xxxx} 代替 MySQL 数据信息...
Sqoop导入MySQL数据到Hive遇到的坑
Mark蜀黍
12-26 4124
1.sqoop导入到HDFS 1.1执行sqoop job，会自动更新last value # sqoop 增量导入脚本 bin/sqoop job --create sqoop_hdfs_test02 -- import \ --connect jdbc:mysql://localhost:3306/pactera_test \ --username root \ --password 1...
sqoop从mysql到hive的时间字段问题
weixin_42348946的博客
02-20 1745
一、问题发现与分析 问题： 用公司的大数据平台导数，已经开发上线一个多月的一批报表，突然有同事说有个报表数据不准。出在时间字段上。 分析: 1、先看了原数据MySQL字段类型为datetime,目标字段为string类型； 2、经发现所有时间的差距都是8小时，怀疑是因为时区转换的原因； 3、对比其他表，看看是大范围现象还是特殊情况，发现其他的同样情况字段的一样没有问题 二、解决办法 经过对比：sq...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值