Sqoop 1.99.7安装与配置

最新推荐文章于 2024-06-03 12:06:11 发布

原创

最新推荐文章于 2024-06-03 12:06:11 发布 · 452 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Sqoop #Sqoop 安装 #Sqoop 配置

本文档详细介绍了Sqoop 1.99.7的安装步骤，包括如何配置Sqoop server和client。首先，从指定地址下载并解压 Sqoop，接着设置环境变量。在配置Sqoop server时，需要确保Hadoop环境正常，并在core-site.xml中进行相应设置。此外，还需将MySQL驱动复制到指定目录，并初始化仓库。对于client的安装，主要涉及启动客户端、连接到server、创建连接器、作业等操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop:

RDBMS和hdfs之间进行数据的export/import,工具

Sqoop 安装

1.下载

下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/

2.解压

tar -xzvf sqoop-1.99.7-bin-hadoop200.tar.gz -C /soft/

3.配置环境变量

export SQOOP_HOME=/soft/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

配置Sqoopserver和client

server:所有的client的入口点

client:可以安装在任何节点上

server安装

1.确保hadoop可用

2.确保HADOOP_HOME环境变量可用

3.配置hadoop的core-site.xml文件

<property>
  <name>hadoop.proxyuser.sqoop2.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.sqoop2.groups</name>
  <value>*</value>
</property>

4. 在hadoop配置文件 [/soft/hadoop/etc/hadoop/container-executor.cfg] 添加：

allowed.system.users=sqoop2

5.第三方类库（驱动程序）

复制mysql jar包到 [/soft/sqoop/tools/lib] 目录下

6.配置sqoop server配置文件

[/soft/sqoop/conf/sqoop_bootstrap.properties]

[/soft/sqoop/conf/sqoop.properties]

将 @BASEDIR@ @LOGDIR@ 替换为真实路径


org.apache.sqoop.log4j.debug=false
org.apache.sqoop.log4j.rootLogger

最低0.47元/天解锁文章

200万优质内容无限畅学