hadoop之sqoop抽取数据

最新推荐文章于 2024-09-24 20:28:26 发布

Technology_2016

最新推荐文章于 2024-09-24 20:28:26 发布

阅读量1.7k

点赞数

分类专栏： hadoop 文章标签：大数据 sqoop增量抽取 oracle mysql hadoop

本文链接：https://blog.youkuaiyun.com/Technology_2016/article/details/51190968

版权

本文介绍了如何安装配置sqoop，并通过sqoop将数据从Oracle和MySQL数据库导入到Hadoop环境，包括权限设置、连接测试及数据导入到Hive的操作，同时也提到了sqoop的eval工具用于执行SQL查询。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、sqoop的安装与配置

安装（前提hadoop启动）

[hadoop@h91 ~]$ tar -zxvf sqoop-1.3.0-cdh3u5.tar.gz 
[hadoop@h91 hadoop-0.20.2-cdh3u5]$ cp hadoop-core-0.20.2-cdh3u5.jar /home/hadoop/sqoop-1.3.0-cdh3u5/lib/

[hadoop@h91 ~]$ cp ojdbc6.jar sqoop-1.3.0-cdh3u5/lib/

[hadoop@h91 ~]$ vi .bash_profile 
添加 
export SQOOP_HOME=/home/hadoop/sqoop-1.3.0-cdh3u5

[hadoop@h91 ~]$ source .bash_profile

2、sqoop与mysql的导入导出

2.1、授权用户，并创建sss表

mysql> insert into mysql.user(Host,User,Password) values("localhost","sqoop",password("sqoop"));
mysql> flush privileges;
mysql> grant all privileges on *.* to 'sqoop'@'%' identified by 'sqoop' with grant option;
mysql> flush privileges;

mysql> use test;
mysql> create table sss (id int,name varchar(10));

mysql> insert into sss