Sqoop安装配置

前提条件:

1.安装好hadoop2.7.3(Linux系统下)

2.安装好MySQL环境,并可以通过IP访问数据库(可参考:Windows下安装MySQLUbuntu下安装MySQLCentOS下安装MySQL

安装步骤:

1. 下载安装包sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,下载地址:http://archive.apache.org/dist/sqoop/

    将安装包上传到Linux系统的~目录下

2.解压

$ tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

3.建立软链接

$ ln -s sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

4. 配置Linux环境变量

$ nano ~/.bashrc

文件末尾添加以下内容:

export SQOOP_HOME=~/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

让配置生效:

$ source ~/.bashrc

5.配置MySQL连接器

下载MySQL连接器:

下载版本:mysql-connector-java-5.1.46.jar 

下载地址:http://central.maven.org/maven2/mysql/mysql-connector-java/

将MySQL连接器复制到sqoop的lib目录下

$ cp mysql-connector-java-5.1.46.jar ~/sqoop/lib

6.配置sqoop环境变量

$ cd $SQOOP_HOME/conf/
$ ls
$ cp sqoop-env-template.sh sqoop-env.sh
$ nano sqoop-env.sh

修改以下内容:

export HADOOP_COMMON_HOME=/home/hadoop/hadoop
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop

注意:

1.“=”号右侧的值为$HADOOP_HOME目录,注意按实际修改。

2.要去掉以上两行export前面的#号

7.测试安装是否成功

$ sqoop help

能看到如下Available commands界面为安装成功。 

 

 

完成! enjoy it!

### 如何安装配置 Sqoop 以与 HBase 一起使用 #### 准备工作 为了使 Sqoop 能够成功连接并操作 HBase,需先完成必要的环境准备。这包括但不限于确保已正确部署 Apache Hadoop、Apache HBase 及其依赖组件如 Zookeeper。 #### 下载并解压 Sqoop 获取最新版本的 Sqoop 发行版,并将其放置于服务器上的合适位置。通常情况下,下载完成后会得到一个压缩包文件,需要对其进行解压处理以便后续配置[^3]。 ```bash tar zxvf apache-sqoop-*.tar.gz -C /usr/local/ cd /usr/local/apache-sqoop*/ ``` #### 设置环境变量 编辑 `~/.bashrc` 或者 `/etc/profile.d/sqoop.sh` 文件来设置 SQOOP_HOME 和 PATH 环境变量: ```bash export SQOOP_HOME=/usr/local/apache-sqoop* export PATH=$PATH:$SQOOP_HOME/bin source ~/.bashrc # 刷新当前shell环境下的配置 ``` #### 修改 Sqoop 配置文件 进入 `$SQOOP_HOME/conf` 目录下找到 `sqoop-env-template.sh` 并复制一份命名为 `sqoop-env.sh` 。接着修改此脚本内的参数指向本地已经存在的 hadoop 安装目录以及额外添加如下几项用于支持 hbase 功能: ```properties # Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=... # Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=... # point to the root of your HBASE installation export HBASE_HOME=... ``` 对于未安装 HBase 和 ZooKeeper 的情况,在上述基础上还需要特别关注 MySQL JDBC Driver 的加载方式。由于缺少部分必要服务端组件的支持,因此建议直接将驱动程序 jar 放置于 $SQOOP_HOME/lib/ 文件夹内。 #### 测试 Sqoop 连接 Mysql 数据库功能 通过执行简单的命令验证 Sqoop 是否能够正常访问外部关系型数据库系统 (RDBMS),例如列出远程主机上所有的 schema 名称列表[^4]: ```bash sqoop list-databases \ --connect jdbc:mysql://<MySQL_HOST>:<PORT>/<DATABASE_NAME> \ --username <USER_NAME> \ --password <PASSWORD> ``` #### 使用 Sqoop 导入数据至 HBase 一旦确认 Sqoop 已经被正确设置了,则可以通过指定相应的选项把来自 RDBMS 的记录迁移到分布式列族存储引擎之中。下面给出的例子展示了怎样利用 sqoop 命令行工具实现从 mysql 向 hbase 表间的数据迁移过程[^1][^2]: ```bash sqoop import \ -D sqoop.hbase.add.row.key=true \ --connect jdbc:mysql://<MYSQL_SERVER>/test \ --username <USERNAME> \ --password <PASSWORD> \ --table student \ --hbase-table student \ --column-family info \ --hbase-row-key stu_no \ -m 1 ``` 以上即为完整的 Sqoop 安装配置流程及其与 HBase 结合使用的具体方法介绍。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值