sqoop2安装

1. 解压

$tar -zxvf sqoop-1.99.6-bin-hadoop200.tar.gz
$cd sqoop-1.99.6-bin-hadoop200
$pwd
/home/clohadoop/sqoop-1.99.6-bin-hadoop200

2. 设置环境变量

$cd /home/clohahaoop
$pwd 
/home/clohadoop
$vi .bash_profile


#添加以下环境变量:
export SQOOP_HOME=/home/clohadoop/sqoop-1.99.6-bin-hadoop200
export PATH=$SQOOP_HOME/bin:$PATH
export CATALINA_BASE=/home/clohadoop/sqoop-1.99.6-bin-hadoop200/server
export LOGDIR=$SQOOP_HOME/logs/

$source bash_profile

3. 修改服务配置

$ cd /home/clohadoop/sqoop-1.99.6-bin-hadoop200/server/conf
$vi sqoop.properties
将org.apache.sqoop.submission.engine.mapreduce.configuration.directory属性修改为自己对应Hadoop的配置文件目录
设置:

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/clohadoop/hadoop/etc/hadoop


配置数据库(可选操作,默认derby)并且保存。

$vi catalina.properties
设置:

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/clohadoop/hadoop/share/hadoop/common/*.jar,/home/clohadoop/hadoop/share/hadoop/common/lib/*.jar,/home/clohadoop/hadoop/share/hadoop/hdfs/*.jar,/home/clohadoop/hadoop/share/hadoop/hdfs/lib/*.jar,/home/clohadoop/hadoop/share/hadoop/mapreduce/*.jar,/home/clohadoop/hadoop/share/hadoop/mapreduce/lib/*.jar,/home/clohadoop/hadoop/share/hadoop/tools/*.jar,/home/clohadoop/hadoop/share/hadoop/tools/lib/*.jar,/home/clohadoop/hadoop/share/hadoop/yarn/*.jar,/home/clohadoop/hadoop/share/hadoop/yarn/lib/*.jar,/home/clohadoop/hadoop/share/hadoop/httpfs/tomcat/lib/*.jar

把oracle的驱动包ojdbc6-11.2.0.4.jar放到/home/clohadoop/sqoop-1.99.5-bin-hadoop200/server/lib/目录下
如果需要将转换传输的是mysql中的数据,则将mysql的 JDBC驱动包导入即可


4. 启动服务

$cd /home/clohadoop/sqoop-1.99.6-bin-hadoop200/bin/
$./ sqoop.sh sever start

5. 查看服务是否启动
$jps
20334 Jps
132954 Main
112940 RunJar
77100 HMaster
111305 RunJar
41401 NameNode
41709 SecondaryNameNode
42166 ResourceManager
20289 Bootstrap


#Bootstrap表示服务已经启动

6. 停止服务

$ sqoop.sh server stop  

7. 使用客户端调用sqoop server

$ sqoop.sh client







Sqoop 1.4.7 版本的安装教程如下: 1. **前提条件**:需要先安装好 Hive,安装教程可参考 Hive3.1.3 详细安装配置教程及安装时问题解决[^1]。 2. **下载 Sqoop 安装包**: - 进入想要安装 Sqoop 的文件夹,例如 `/usr/local`: ```bash cd /usr/local ``` - 执行下载命令: ```bash sudo wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.tar.gz ``` 3. **解压文件到指定目录**:需要安装在有 ZooKeeper 的服务器上,将文件解压到 `/data` 目录: ```bash tar zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /data ``` 4. **修改配置文件**: - 进入 `/sqoop/conf` 目录,将 `sqoop-env-template.sh` 重命名为 `sqoop-env.sh` 并编辑: ```bash cd /data/sqoop-1.4.7.bin__hadoop-2.6.0/conf mv sqoop-env-template.sh sqoop-env.sh vim sqoop-env.sh ``` 在文件中添加以下内容: ```plaintext export HADOOP_COMMON_HOME=/data/hadoop/hadoop-2.7.2 export HADOOP_MAPRED_HOME=/data/hadoop/hadoop-2.7.2 export HBASE_HOME=/data/hbase-1.2.6 export HIVE_HOME=/data/apache-hive-1.2.1-bin export ZOOCFGDIR=/data/zookeeper export ZOOKEEPER_HOME=/data/zookeeper ``` - 配置 `/etc/profile`: ```bash vim /etc/profile ``` 在文件中添加以下内容: ```plaintext export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/data/apache-hive-1.2.1-bin/lib/* export JAVA_HOME=/data/jdk1.8.0_101 ``` 使配置生效: ```bash source /etc/profile ``` 5. **加入 MySQL 的 JDBC 驱动包**:将 `mysql-connector-java.jar` 复制到 `/data/apache-hive-1.2.1-bin/lib/` 目录: ```bash cp mysql-connector-java.jar /data/apache-hive-1.2.1-bin/lib/ ``` 6. **注释不需要的变量**: ```bash cd /data/sqoop-1.4.7.bin__hadoop-2.6.0/bin vim configure-sqoop ``` 7. **链接依赖**: ```bash cd ../lib ln -s /data/apache-hive-1.2.1-bin/lib/hive-exec-1.2.1.jar hive-exec.jar cp /data/apache-hive-1.2.1-bin/conf/hive-site.xml conf/ ``` 8. **编辑系统环境变量**: ```bash vim /etc/profile ``` 在文件中添加以下内容: ```plaintext export JAVA_HOME=/data/soft/jdk1.8 export HADOOP_HOME=/data/soft/hadoop-3.2.0 export HIVE_HOME=/data/soft/apache-hive-3.1.2-bin export SQOOP_HOME=/data/soft/sqoop-1.4.7.bin__hadoop-2.6.0 export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin:$PATH ``` 使配置生效: ```bash source /etc/profile ``` 9. **验证安装**:执行 `sqoop version`,看到版本信息,即安装成功: ```bash sqoop version ``` 若输出如下信息,则安装成功: ```plaintext INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 Sqoop 1.4.7 git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8 Compiled by maugli on Thu Dec 21 15:59:58 STD 2017 ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值