sqoop安装

  1)上传

  2)解压

   tar -xvzf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 

  3)配置环境变量

   export SQOOP_HOME=/home/hadoop/apps/sqoop-1.4.6.bin__hadoop-2.0.4-alpha

   export PATH=$PATH:$SQOOP_HOME/bin

  4)生效环境变量 并验证

   source /etc/profile

   sqoop version

  5)修改配置文件

   cp sqoop-env-template.sh sqoop-env.sh

   修改配置文件解析:

 

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.7.6
​
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/apps/hadoop-2.7.6
​
#set the path to where bin/hbase is available
#export HBASE_HOME= hbase的目录
​
#Set the path to where bin/hive is available
export HIVE_HOME=/home/hadoop/apps/apache-hive-2.3.4-bin
​
#Set the path for where zookeper config dir is
export ZOOCFGDIR=/home/hadoop/apps/zookeeper-3.4.10/conf

    hadoop的common mapreduce为什么需要分开配置:

    开源:

    hadoop来说 common mapreduce都在一个安装包中 对于开源的来说上面的两个都是hadoop的安装目录

    商业版:

     CDH    HDP

     对于商业版本的hadoop来说 common和mapreduce分别安装在不同的目录下的

  6)将mysql的驱动放在sqoop的lib包下

   /home/hadoop/apps/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

  7)测试:

  

  sqoop list-databases \

  --connect jdbc:mysql://hadoop02:3306/ \

  --username root \

  --password 123456

### Sqoop 安装教程 #### 准备工作 在安装 Sqoop 前,需确认环境已具备以下条件: - 已正确安装并配置好 Hadoop 和 Java 环境。 - 下载所需的 Sqoop 版本及其依赖项。 #### 配置 MySQL 连接器 为了使 Sqoop 能够连接到 MySQL 数据库,需要将 `mysql-connector-java` 的 JAR 文件放置于 Sqoop 的 lib 目录下。例如,在路径 `/home/hadoop/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/lib/` 中上传 `mysql-connector-java-5.1.35.jar` 文件[^1]。 #### 解压 Sqoop tar 包 下载适合版本的 Sqoop tar 包(如 `sqoop-1.4.6-cdh5.14.2.tar.gz`),解压缩至目标目录,并设置必要的权限[^3]。 ```bash tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz -C /usr/local/ cd /usr/local/ ln -s sqoop-1.4.6-cdh5.14.2 sqoop ``` #### 修改配置文件 编辑 Sqoop 的配置文件 `./conf/sqoop-env.sh` 来指定 Hadoop 和其他必要组件的位置。以下是常见的修改内容: ```bash export HADOOP_COMMON_HOME=/path/to/hadoop-common-home export HADOOP_MAPRED_HOME=/path/to/mapreduce-home export JAVA_HOME=/path/to/java-home ``` 此操作可以通过命令 `[root@qianfeng01 sqoop-1.4.7] vi ./conf/sqoop-env.sh` 实现[^2]。 #### 测试 Sqoop 安装 完成上述步骤后,可以运行简单的测试命令来验证 Sqoop 是否正常工作。例如,尝试列出远程数据库中的表结构: ```bash sqoop list-tables --connect jdbc:mysql://<hostname>:<port>/<database> --username <user> ``` 以上过程涵盖了从准备阶段到最终测试的关键环节,确保每一步都按照说明执行即可成功部署 Sqoop。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值