本文详细介绍了如何在CDH环境下安装配置sqoop2，包括下载cdh版本的sqoop2，解压，添加环境变量，修改配置文件如sqoop.properties和catalina.properties，并启动sqoop服务端和客户端。配置过程中涉及到替换hadoop相关jar包路径，以及添加MySQL驱动到服务器lib目录。最后，提供了连接server的步骤。
下载
因为公司集群是cdh版本的，所以这里下载的是cdh版本的sqoop2，网址：http://archive.cloudera.com/cdh5/cdh/5/（注意下载的是sqoop2而不是sqoop），这里下载的是1.99.5版本，各版本之间在命令行语法上有些差别，具体可以在官网中查看（文章最后有1.99.5版本的使用案例网址）
解压
下载完成后上传至需要安装的节点，最好上传至有hadoop和hbase节点的机器，然后在合适的目录下解压。
sqoop2与sqoop1有很大的区别，使用的是server-client模式，在一个节点安装好后，在其他任何节点都可以访问。
添加环境变量
添加如上图红框内所示的环境变量，之后记得source环境变量文件。
修改配置
1. $SQOOP_HOME/conf/sqoop.properties文件
将org.apache.sqoop.submission.engine.mapreduce.configuration.directory改为当前hadoop目录。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
