使用sqoop将mysql中数据导入到hive中

最新推荐文章于 2024-07-13 22:59:21 发布
最新推荐文章于 2024-07-13 22:59:21 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 云计算云存储
本文介绍如何使用Sqoop工具将MySQL中的数据导入到Hive进行并行计算分析。适用于需要处理大量数据的情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

转自：http://phz50.iteye.com/blog/994782

hive是Facebook的产品，最早研发它的目的是用它来对Facebook网站每天产生的海量日志进行分析。有时我们需要分析的数据可能存在数据库中，这时我们可以利用sqoop将mysql中数据导入到hive中。 

操作系统：在windows下使用wubi安装了ubuntu 10.10 
hadoop版本：hadoop-0.20.2.tar.gz 
zookeeper版本：zookeeper-3.3.3.tar.gz 
hive版本：hive-0.6.0 .tar.gz 
sqoop版本：sqoop-1.2.0-CDH3B4.tar.gz 

其中sqoop是将mysql数据导入hive的工具。这篇文章http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4/SqoopUserGuide.html比较详细得介绍了sqoop的使用。 

主要的使用命令为： 

Java代码   收藏代码
  1. $ sqoop import --connect jdbc:mysql://IP:PORT/DATABASE --username USERNAME --password PASSWORD --table TABLE --hive-import  


通过上面的命令我们就能把数据库DATABASE中的TABLE表导入到hive中了，在hive环境使用命令： 
Java代码   收藏代码
  1. hive> show tables;  

就能发现多了一个TABLE表了，接下来就可以使用hive对表中数据进行分析了。 

在使用过程中可能遇到的问题： 
  • sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。
  • sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar，所以你需要下载hadoop-0.20.2-CDH3B4.tar.gz，解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar复制到sqoop-1.2.0-CDH3B4/lib中。
  • sqoop导入mysql数据运行过程中依赖mysql-connector-java-*.jar，所以你需要下载mysql-connector-java-*.jar并复制到sqoop-1.2.0-CDH3B4/lib中。


只要注意这几点，我们就能使用sqoop将mysql中的表数据导入到hive进行并行计算分析了，当然只有在mysql中存在海量数据时才使用这个方法，一般数据量时，使用mysql的SQL语句已经足够了。 

使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6573
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 947
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
sqoop mysql to hive_使用sqoop将mysql数据导入到hive中
weixin_35965587的博客
01-18 1507
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1准备一张数据库表：接下来就可以操作了。。。一、将MySQL数据导入到hdfs首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。再Hdfs上创建目录hadoop fs -mkdir -p /data/base　　#用于存放数据我们cd到sqoop目录下...
使用sqoop从mysql导入数据到hive
weixin_30302609的博客
05-18 299
前言 这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。 环境： 系统：Centos 6.5 Hadoop：Apache，2.7.3 Mysql：5.1.73 JDK：1.8 Sqoop：1.4.7 Hadoop以伪分布式模式运行。 一、使用的导入命令 我主要是参考一篇文章去测试的，Sqoop: Import Data From MySQL...
使用sqoop导入mysql数据到hive中
choulingbin8409的博客
06-10 440
Sqoop 是一个数据转储工具，它能够将 hadoop HDFS 中的数据转储到关系型数据库中，也能将关系型数据库中的数据转储到 HDFS 中。 Apache Sqoop，是"SQL to Hadoop"的意思，可以实现 Hadoop 和几乎任何外部结构化数据存储间 的双向数据传输。 ...
数据工具sqoop用法之mysql与hive数据导入导出
大数据技术派
12-28 1147
目录 一. Sqoop介绍 二. Mysql 数据导入到 Hive 三. Hive数据导入到Mysql 四. mysql数据增量导入hive 1. 基于递增列Append导入 1). 创建hive表 2). 创建job 3). 执行job 2.Lastmodifie...
sqoop从mysql导入hive
rover
05-21 364
# 导入全量 sqoop import --connect jdbc:mysql://addr.yun.com:3306/idc_dev_temp?charset=utf-8 --username idc_online --password Pwd_2019 --table gout_zhiyun_mon_t2 -m 1 --hive-import --create-hive-table --hi...
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
利用sqoop将MySQL数据导入HDFS、Hive、HBase
最新发布
qq_71375720的博客
07-13 1032
此处的MySQLToHDFS.conf为相对路径，在执行脚本时要在文件MySQLToHDFS.conf所在的目录下执行。执行后的文件保存在hdfs上的/sqoop/data/student 目录下利用命令hadoop fs -ls /sqoop/data/student查看。加上这个参数，可以在导出MySQL数据的时候，使用MySQL提供的导出工具mysqldump，加快导出速度，提高效率。需要将master上的/usr/bin/mysqldump分发至 node1、node2的/usr/bin目录下。
使用 sqoop 将mysql数据导入到hive表（import）
weixin_30355437的博客
09-15 205
Sqoop将mysql数据导入到hive表中 先在mysql创建表 CREATE TABLE `sqoop_test` ( `id` int(11) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=lati...
mysql数据导入 hive_使用 sqoop 将mysql数据导入到hive（import）
weixin_36074668的博客
01-18 233
EFdeMacBook-Pro:bin FengZhen$ sqoop import --connect jdbc:mysql://localhost:3306/sqooptest --username root --password 123qwe --table sqoop_test --columns id,name,age --fields-terminated-by , --delete-...
利用sqoop把MySQL数据导入Hive
即心即佛
02-02 292
环境准备 1. 安装Hadoop 2. 安装Hive 安装Sqoop cd /opt/install wget https://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/bigdata cd /opt/bigdata/sqoop-1.4.7.bin__hadoop-2.6.0/..
sqoop:使用sqoop工具，把数据从MySQL导入到hive。
mas2005的博客
05-29 230
sqoop import \ --connect jdbc:mysql://had01:3306/DB_CRY_TEST \ --username root \ --password root \ --table POI_INFO \ --fields-terminated-by "," \ --lines-terminated-by "\n" \ --hive-import \ --hive-o...
使用Sqoop将MySQL数据导入Hive
刘李404not_found的博客
08-27 1421
一、说明 MySQL数据导入Hive方法与导入HDFS类似：https://blog.youkuaiyun.com/qq_39680564/article/details/100081659，Sqoop只是将数据导入HDFS后再转成Hive表 二、Hive参数 Hive除了自己的参数，同样也支持import的参数，见导入HDFS文章 --hive-home <dir> 覆盖 $HIVE_HOM...
sqoop1将mysql表导入hive
c1052981766的专栏
01-15 594
1.环境：hadoop2.7.7 hive 2.3.4 下载sqoop1 版本1.4.7 http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 解压到opt下 配置环境变量，配置sqoop-env.sh #Set path to where bin/hadoop is availa...
Sqoop将MySQL中数据导入到Hive表中
lusijie的博客
12-08 1006
问题导读：          1、--hive-import、--hive-overwrite的作用？          2、如何处理关系型数据库字段中字符串含有分隔符问题？          3、使用--hive-import默认字段分隔符是？一行记录分隔符是？          4、NULL值是怎么处理的？--null-string和--null-string的作用？
sqoop将Mysql数据导入Hive中
Data & Analysis
07-24 1492
本实验Sqoop版本：Sqoop 1.4.6.2.6.0.3-8 1 mysql创建表 DROP TABLE IF EXISTS `testsqoop`; CREATE TABLE `testsqoop` ( `XH` varchar(255) CHARACTER SET utf8 NOT NULL COMMENT '序号', `SSQ` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '所属区' ) ENGINE=InnoDB...
sqoop从MySQL数据库导入hive中
weixin_49797595的博客
08-17 242
需求场景 将MySQL中的某张表导入到hive中 需添加一些插入时间及插入方式的新字段 代码 sqoop import \ -D sqoop.parquet.logical_types.decimal.enable=true \ -D parquetjob.configurator.implementation=hadoop \ -D sqoop.avro.decimal_padding.enable=true \ -D sqoop.avro.logical_types.decimal.default.
【Sqoop】从MySQL同步数据到Hive的操作参数解析
Nieson2012的专栏
08-16 2836
参数解析： 必选参数 --connect :连接的mysql数据库的jdbc信息 --username:mysql数据库的登录账户 --password:mysql数据库的登录密码 --table: 关系数据库表名  --hive-import: 从关系型数据库向hive中导入数据的标志 可选参数 --as-testfile: 将数据导入一个普通文本文件中 --as-sequen...
怎么使用sqoop将mysql数据表导入hive中
05-13
要使用 Sqoop 将 MySQL 数据表导入到 Hive 中，需要遵循以下步骤： 1. 确保已经安装了 Sqoop 和 Hive。 2. 在 Hive 中创建一个数据库，用于存储导入的数据表。 3. 在 HDFS 中创建一个目录，用于存储导入的数据。 4. 使用 Sqoop 的 import 命令将 MySQL 数据表导入到 HDFS 中： ``` sqoop import \ --connect jdbc:mysql://mysql-server:3306/mydatabase \ --username mysqluser \ --password mysqlpassword \ --table mytable \ --target-dir /user/hive/warehouse/mydatabase.db/mytable \ --fields-terminated-by ',' \ --hive-import \ --hive-table mydatabase.mytable ``` 其中，`jdbc:mysql://mysql-server:3306/mydatabase` 是 MySQL 数据库的连接 URL，`mysqluser` 和 `mysqlpassword` 分别是 MySQL 数据库的用户名和密码，`mytable` 是要导入的数据表名，`/user/hive/warehouse/mydatabase.db/mytable` 是数据导入到 HDFS 中的目录，`--fields-terminated-by ','` 指定了字段分隔符为逗号，`--hive-import` 表示需要将数据导入到 Hive 中，`--hive-table mydatabase.mytable` 指定了在 Hive 中创建的目标表的名称和所在的数据库。 5. 在 Hive 中创建一个外部表，将 HDFS 目录中的数据映射为 Hive 表： ``` CREATE EXTERNAL TABLE mydatabase.mytable ( column1 datatype1, column2 datatype2, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/user/hive/warehouse/mydatabase.db/mytable'; ``` 注意，这里的表结构要与 MySQL 数据表的结构保持一致。 6. 使用 Hive 的 INSERT INTO 语句将数据从外部表中插入到 Hive 表中： ``` INSERT INTO mydatabase.mytable SELECT * FROM mydatabase.mytable; ``` 这样就完成了将 MySQL 数据表导入到 Hive 中的操作。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值