hadoop之sqoop抽取数据

最新推荐文章于 2024-10-31 21:03:31 发布

原创

最新推荐文章于 2024-10-31 21:03:31 发布 · 1.7k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #sqoop增量抽取 #oracle #mysql #hadoop

本文介绍了如何安装配置sqoop，并通过sqoop将数据从Oracle和MySQL数据库导入到Hadoop环境，包括权限设置、连接测试及数据导入到Hive的操作，同时也提到了sqoop的eval工具用于执行SQL查询。

1、sqoop的安装与配置

安装（前提hadoop启动）

[hadoop@h91 ~]$ tar -zxvf sqoop-1.3.0-cdh3u5.tar.gz 
[hadoop@h91 hadoop-0.20.2-cdh3u5]$ cp hadoop-core-0.20.2-cdh3u5.jar /home/hadoop/sqoop-1.3.0-cdh3u5/lib/

[hadoop@h91 ~]$ cp ojdbc6.jar sqoop-1.3.0-cdh3u5/lib/

[hadoop@h91 ~]$ vi .bash_profile 
添加 
export SQOOP_HOME=/home/hadoop/sqoop-1.3.0-cdh3u5

[hadoop@h91 ~]$ source .bash_profile

2、sqoop与mysql的导入导出

2.1、授权用户，并创建sss表

mysql> insert into mysql.user(Host,User,Password) values("localhost","sqoop",password("sqoop"));
mysql> flush privileges;
mysql> grant all privileges on *.* to 'sqoop'@'%' identified by 'sqoop' with grant option;
mysql> flush privileges;

mysql> use test;
mysql> create table sss (id int,name varchar(10));

mysql> insert into sss values(1,'zs');
mysql> insert into sss values(2,'ls');

2.2、测试sqoop能否连接上mysql