Sqoop 1.99.7安装与配置

本文档详细介绍了Sqoop 1.99.7的安装步骤,包括如何配置Sqoop server和client。首先,从指定地址下载并解压 Sqoop,接着设置环境变量。在配置Sqoop server时,需要确保Hadoop环境正常,并在core-site.xml中进行相应设置。此外,还需将MySQL驱动复制到指定目录,并初始化仓库。对于client的安装,主要涉及启动客户端、连接到server、创建连接器、作业等操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

sqoop:

       RDBMS和hdfs之间进行数据的export/import,工具

Sqoop 安装

1.下载

     下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/

2.解压

tar -xzvf sqoop-1.99.7-bin-hadoop200.tar.gz -C /soft/

3.配置环境变量

export SQOOP_HOME=/soft/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

配置Sqoopserver和client

server:所有的client的入口点

client:可以安装在任何节点上

server安装

1.确保hadoop可用

2.确保HADOOP_HOME环境变量可用

3.配置hadoop的core-site.xml文件

<property>
  <name>hadoop.proxyuser.sqoop2.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.sqoop2.groups</name>
  <value>*</value>
</property>

4. 在hadoop配置文件  [/soft/hadoop/etc/hadoop/container-executor.cfg] 添加:

allowed.system.users=sqoop2

5.第三方类库(驱动程序)

     复制mysql jar包到 [/soft/sqoop/tools/lib] 目录下

6.配置sqoop server配置文件

[/soft/sqoop/conf/sqoop_bootstrap.properties]

[/soft/sqoop/conf/sqoop.properties]

将 @BASEDIR@  @LOGDIR@ 替换为真实路径


org.apache.sqoop.log4j.debug=false
org.apache.sqoop.log4j.rootLogger
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值