sqoop1.99.7搭建和使用

本文介绍了如何搭建和使用sqoop1.99.7进行hdfs与mysql之间的数据互导。包括下载安装sqoop,配置环境变量,修改配置文件,添加mysql驱动,初始化和验证sqoop,创建链接器,启动服务,创建导入导出job等步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

sqoop的主要功能是hdfs与关系型数据库的数据互相导入导出。

我们以hdfs和mysql互相导数据为例

现在我们开始搭建sqoop

1.下载sqoop包

   wget http://mirror.bit.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz


2.解压

   tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz


3.添加环境变量

   export SQOOP_HOME=/chenzhongwei/soft/sqoop-1.99.7-bin-hadoop200

   export PATH=$PATH:$JAVA_HOME/bin:$MYSQL_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SQOOP_HOME/bin

   执行source /etc/profile


4.修改conf下的sqoop.properties

   47,233s/@LOGDIR@/\/chenzhongwei\/soft\/sqoop-1.99.7-bin-hadoop200\/logs/g(vim里的命令行执行)

   47,233s/@BASEDIR@/\/chenzhongwei\/soft\/sqoop-1.99.7-bin-hadoop200\/basedir/g(vim里的命令行执行)

   org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/chenzhongwei/soft/hadoop-2.7.3/etc/hadoop/(hadoop安装目录)


5.sqoop的安装文档

   http://sqoop.apache.org/docs/1.99.7/admin/Installation.html


   该文档让我们再core-site.xml里加配置

    <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
  </property>
  <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
  </property>

   root当前运行的用户

 

6.把mysql驱动包放到server/lib下

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值