Sqoop hive数据导出到mysql

最新推荐文章于 2024-01-25 13:54:17 发布

原创最新推荐文章于 2024-01-25 13:54:17 发布 · 511 阅读

0 ·

CC 4.0 BY-SA版权

sqoop 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了如何使用Sqoop这个开源工具，实现Hive与MySQL之间的数据传输。首先，详细讲述了Sqoop的安装步骤，包括下载特定版本的Sqoop，解压并配置环境变量。接着，展示了如何将MySQL数据导入到HDFS，以及创建Hive表并与数据文件关联。最后，讨论了如何从Hive将数据导出到MySQL，前提是在两者中都有匹配的表结构。

Sqoop

Sqoop是一个开源的工具，能用来hadoop（或者说是hive）和关系型数据库（mysql）之间转输，可将数据从hive中导出到mysql，也能从mysql导入到hive。

Sqoop安装

下载sqoop,这里用的是1.4.7版本
http://apache.mirrors.pair.com/sqoop/1.4.7/

解压后，将sqoop安装地址添加到环境变量中
vim ~/.bashrc

export SQOOP_HOME=sqoop安装地址
export path=$path:$SQOOP_HOME/bin

保存后，使用source ~/.bashrc
然后在sqoop的bin目录下，修改configure-sqoop

export HADOOP_HOME=hadoop安装地址
export HIVE_HOME=hive安装地址

保存后，即可使用。

导入

将mysql数据导入到hdfs中

sqoop import --connect jdbc:mysql://localhost/test --username root --password 123 --table test_table -m 1

会在hadoop中生成对应的数据文件，默认目录在/user/用户名/
在hive中建表，表结构要跟数据对应,将数据文件跟表关联
如:

create table test_table(id int , name string);

hdfs将数据文件导入到hive表中

load data inpath '/user/hadoop/test_table' into table test_table;

导出

如上，假设hive和mysql中的表都已建好，要将hive中表的数据导出到mysql的表中。

sqoop export --connect jdbc:mysql://localhost/test --username root --password 123 --table test_table --export-dir /user/hive/test/test_table