
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle...)之间进行数据的传递,可以将一个关系型数据库(例如: MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
安装前提
已经配置好Java和Hadoop的环境
一、下载解压
下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机hadoop101中,路径:/opt/software
解压sqoop安装包到指定目录/opt/module
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

二、修改配置文件
sqoop的配置文件在其根目录下的conf目录中
重命名配置文件
mv sqoop-env-template.sh sqoop-env.sh

修改文件sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf

三、拷贝JDBC驱动
拷贝jdbc驱动到sqoop的lib目录下
cd /opt/software/mysql-libs/mysql-connector-java-5.1.27
cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib
四、验证Sqoop
cd /opt/module
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6 #文件名太长,重命名一下
cd sqoop-1.4.6
bin/sqoop help #验证sqoop配置是否正确

五、测试sqoop连接数据库
bin/sqoop list-databases --connect jdbc:mysql://hadoop101:3306/ --username root --password 123456

配置环境变量
vim /etc/profile
#Sqoop
export SQOOP_HOME=/opt/module/sqoop-1.4.6
export PATH=$PATH:$SQOOP_HOME/bin

安装成功