Sqoop简介及安装与部署

最新推荐文章于 2024-08-17 21:08:01 发布

「已注销」

最新推荐文章于 2024-08-17 21:08:01 发布

阅读量322

点赞数 1

分类专栏： Sqoop 文章标签： sqoop安装 sqoop配置 Hive MySQL 大数据

本文链接：https://blog.youkuaiyun.com/weixin_38097878/article/details/103286930

版权

Sqoop 专栏收录该内容

1 篇文章

订阅专栏

Apache Sqoop是一个用于在Hadoop和RDBMS之间转移数据的工具，它通过MapReduce实现导入导出。本文介绍了Sqoop的工作机制，以及详细的安装步骤，包括上传和解压Sqoop压缩包，配置环境变量，修改sqoop-env.sh文件，添加MySQL JDBC驱动，并验证启动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

Apache Sqoop

Apache Sqoop

1、sqoop介绍

Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。由来自于Apache软件基金会提供。
Sqoop工作机制是将导入或导出命令翻译成MapReduce程序来实现。在翻译出的MapReduce中主要对InputFormat和OutputFormat进行定制。

Hadoop生态系统包括：HDFS、HIive、Hbase等
RDBMS体系包括：MySQL、Oracle、DB2等
Sqoop可以理解为：“SQL到Hadoop和Hadoop到SQL”

Sqoop安装

安装Sqoop的前提是已经具备Java和Hadoop的环境

上传Sqoop压缩包并解压缩

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C ../servers/

配置环境变量

vi /etc/profile.d/sqoop.sh

添加以下内容

export SQOOP_HOME=/export/servers/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=$PATH:$SQOOP_HOME/bin

配置文件修改

sqoop-env.sh

cd $SQOOP_HOME/conf
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh

添加以下配置

export HADOOP_COMMON_HOME= /export/servers/hadoop-2.7.5 
export HADOOP_MAPRED_HOME= /export/servers/hadoop-2.7.5
export HIVE_HOME= /export/servers/hive

在这里插入图片描述

添加MySql的JDBC驱动包

直接拷贝/${HIVE_HOME}/lib目录下的驱动包

cp /hive/lib/mysql-connector-java-5.1.32.jar $SQOOP_HOME/lib/

或进入/${SQOOP_HOME}/lib通过rz命令上传

验证启动

bin/sqoop list-databases \
--connect jdbc:mysql://localhost:3306/ \
--username root --password hadoop

在这里插入图片描述
本命令会列出所有mysql的数据库。
到这里，整个Sqoop安装工作完成。