Sqoop的简介与安装

1，Sqoop概述

• 1，概念
  Sqoop：SQL–to–Hadoop，本质还是一个命令行工具。
  Apache旗下一款“Hadoop 和关系数据库之间传送数据”的工具。
• 2，功能
  
  导入数据： 将关系型数据库（MySQL、Oracle 等）数据导入到 Hadoop 的 HDFS、Hive、HBase 等数据存储系统中；
  导出数据：从 Hadoop 的文件系统中导出数据到关系数据库（MySQL、Oracle等） 中。

Sqoop 工作机制

• 将导入或导出命令翻译成 MapReduce 程序来实现
• 对MapReduce 的Inputformat 和 Outputformat 进行定制

2，sqoop的安装

• 1，前提准备

  安装好 JDK 和 Hadoop 集群

• 2，下载安装包
  下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/
  版本号：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

• 3，上传并解压
  将 Sqoop 安装包上传到 Linux 服务器
  解压：

    tar -xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
  

• 4，修改配置文件
  复制 sqoop-env.sh
  进入SQOOP_HOME/conf目录，进行复制

    cp sqoop-env-template.sh sqoop-env.sh
  

  修改 sqoop-env.sh

  编辑：

    vim sqoop-env.sh
  

  修改参数：

• 5，加入驱动包
  将MySQL 驱动包放到 SQOOP_HOME/lib 目录下
  

• 6， 配置环境变量
  编辑

    vim /home/shiny/.bash_profile
  

  添加内容

    export SQOOP_HOME=/home/shiny/Desktop/software/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/
    export PATH=$PATH:$SQOOP_HOME/bin
  

  配置文件立即生效

    source /home/shiny/.bash_profile
  

• 7，验证 Sqoop 是否安装成功

    sqoop-version 
    sqoop version
  

若是想去掉警告，可以修改 bin 目录下的 configure-sqoop 脚本文件，将“HCAT_HOME”和“ACCUMULO_HOME”相关信息注释掉即可。