sqoop连接mysql_sqoop安装

最新推荐文章于 2024-08-12 03:04:15 发布

原创最新推荐文章于 2024-08-12 03:04:15 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop连接mysql

本文详细介绍了如何在Hadoop环境中安装并配置Sqoop以连接MySQL数据库。首先，确保已安装Java和Hadoop环境，接着从指定地址下载sqoop 1.4.6并解压到指定目录。然后，修改配置文件sqoop-env.sh，拷贝JDBC驱动到sqoop的lib目录。最后，验证Sqoop安装并测试其连接数据库的能力。

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle...)之间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

安装前提

已经配置好Java和Hadoop的环境

一、下载解压

下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机hadoop101中，路径：/opt/software

解压sqoop安装包到指定目录/opt/module

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

二、修改配置文件

sqoop的配置文件在其根目录下的conf目录中

重命名配置文件

mv sqoop-env-template.sh sqoop-env.sh

修改文件sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf

三、拷贝JDBC驱动

拷贝jdbc驱动到sqoop的lib目录下

cd  /opt/software/mysql-libs/mysql-connector-java-5.1.27
cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

四、验证Sqoop

cd /opt/module
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6  #文件名太长，重命名一下
cd sqoop-1.4.6

bin/sqoop help #验证sqoop配置是否正确

五、测试sqoop连接数据库

bin/sqoop list-databases --connect jdbc:mysql://hadoop101:3306/ --username root --password 123456

配置环境变量

vim /etc/profile

#Sqoop
export SQOOP_HOME=/opt/module/sqoop-1.4.6
export PATH=$PATH:$SQOOP_HOME/bin

安装成功