Liunx安装Sqoop及简单使用

一、简介

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

可以将一个关系型数据库（例如 ： MySQL ,Oracle 等）中的数据导进到Hadoop的HDFS、HIVE、HBASE中。

也可以将Hadoop的HDFS、HIVE、HBASE的数据导进到关系型数据库中。

官网：http://sqoop.apache.org

二、准备工作

1、安装hadoop集群

https://blog.youkuaiyun.com/u011374856/article/details/103310627

三、Sqoop下载

下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.15.1.tar.gz

注:其他大数据组件也可在 http://archive.cloudera.com/cdh5/cdh/5 版本库中找到

四、Sqoop安装

1、解压压缩包

tar -zxvf sqoop-1.4.6-cdh5.15.1.tar.gz

2、配置环境变量 

#配置当前用户环境变量
vi ~/.bash_profile
 
#在文件中添加如下命令，记得切换自己文件路径
export SQOOP_HOME=/home/app/sqoop-1.4.6-cdh5.15.1
export PATH=$SQOOP_HOME/bin:$PATH
 
#立即生效
source ~/.bash_profile

3、版本信息

sqoop version

 五、MySQL8.0导入HBase

1、Docker安装MySQL

https://blog.youkuaiyun.com/u011374856/article/details/103344949

2、安装hbase集群

https://blog.youkuaiyun.com/u011374856/article/details/103316527

3、创建测试数据库和测试表并添加一些数据

4、下载依赖Jar包

#下载目录
http://central.maven.org/maven2/mysql/mysql-connector-java/

#SQOOP_HOME的lib目录
cd $SQOOP_HOME/lib

#MySQL驱动远程下载
wget http://central.maven.org/maven2/mysql/mysql-connector-java/8.0.11/mysql-connector-java-8.0.11.jar

#java-json远程下载
wget http://www.java2s.com/Code/JarDownload/java-json/java-json.jar.zip

#解压文件
unzip java-json.jar.zip
 
#如果报-bash: unzip: 未找到命令
yum install -y unzip zip

#如果报错-bash: wget: 未找到命令
yum install -y wget

5、执行导入

#到SQOOP_HOME的bin目录
cd $SQOOP_HOME/bin

#测试mysql能否连接
sqoop list-databases \
--connect jdbc:mysql://127.0.0.1:3306/test \
--username 'root' \
--password '123456'

#sql语句检验
sqoop eval \
--connect jdbc:mysql://127.0.0.1:3306/test \
--username 'root' \
--password '123456' \
--query "SELECT * FROM woniu"

#导入命令
sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/test \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 123456 \
--table woniu \
--hbase-table hbase_woniu \
--column-family info  \
--hbase-create-table \
--hbase-row-key id \
--hbase-bulkload

6、大功告成