sqoop:
RDBMS和hdfs之间进行数据的export/import,工具
Sqoop 安装
1.下载
下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/
2.解压
tar -xzvf sqoop-1.99.7-bin-hadoop200.tar.gz -C /soft/
3.配置环境变量
export SQOOP_HOME=/soft/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
配置Sqoopserver和client
server:所有的client的入口点
client:可以安装在任何节点上
server安装
1.确保hadoop可用
2.确保HADOOP_HOME环境变量可用
3.配置hadoop的core-site.xml文件
<property>
<name>hadoop.proxyuser.sqoop2.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.sqoop2.groups</name>
<value>*</value>
</property>
4. 在hadoop配置文件 [/soft/hadoop/etc/hadoop/container-executor.cfg] 添加:
allowed.system.users=sqoop2
5.第三方类库(驱动程序)
复制mysql jar包到 [/soft/sqoop/tools/lib] 目录下
6.配置sqoop server配置文件
[/soft/sqoop/conf/sqoop_bootstrap.properties]
[/soft/sqoop/conf/sqoop.properties]
将 @BASEDIR@ @LOGDIR@ 替换为真实路径
org.apache.sqoop.log4j.debug=false
org.apache.sqoop.log4j.rootLogger