sqoop安装及使用

最新推荐文章于 2025-05-30 00:04:22 发布

原创

最新推荐文章于 2025-05-30 00:04:22 发布 · 6.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop

本文详细介绍了如何安装和使用Sqoop。首先从指定网址下载并解压Sqoop，然后配置环境变量，修改相关配置文件，并将mysql连接器复制到sqoop的lib目录下。接着安装mysql并设置root密码，确保服务监听。通过Sqoop将mysql数据导入HDFS，并在Hive中创建对应表。此外，还展示了将HDFS数据导入Hive以及使用Sqoop进行数据导出的操作步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装

下载地址：
http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz
下载 sqoop-1.4.6-cdh5.5.2.tar.gz

解压后命名为sqoop-1.4.6

修改环境变量：
export SQOOP_HOME=/home/xuyao/下载/sqoop-1.4.6
export PATH= $PATH:$SQOOP_HOME/bin
export HIVE_CONF_DIR=/home/xuyao/下载/hive-2.0.1/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

修改sqoop-env.sh：
export HADOOP_COMMON_HOME=/home/xuyao/下载/hadoop-2.6.5
export HADOOP_MAPRED_HOME=/home/xuyao/下载/hadoop-2.6.5
export HIVE_HOME=/home/xuyao/下载/hive-2.0.1

修改bin/configure-sqoop：注释掉HCAT_HOME、ACCUMULO_HOME、ZOOKEEPER_HOME的检查。

## Moved to be a runtime check in sqoop.
#if [ ! -d "${HCAT_HOME}" ]; then
#  echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."
#  echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'
#fi

#if [ ! -d "${ACCUMULO_HOME}" ]; then
#  echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports will fail."
#  echo 'Please set $ACCUMULO_HOME to the root of your Accumulo installation.'
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
#  echo "Warning: $ZOOKEEPER_HOME does not exist! Accumulo imports will fail."
#  echo 'Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.'
#fi