sqoop从mysql导入数据到hive中

首先安装sqoop（zookeeper等已经成功启动），配置好；

1.下载安装包及解压

tar -zxvf  sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar sqoop

 

2.配置环境变量和配置文件

cd %SQOOP_HOME%

cp conf/sqoop-env-template.sh /conf/sqoop-env.sh

在sqoop-env.sh中添加如下代码：

export HADOOP_COMMON_HOME=/usr/hadoop 

export HADOOP_MAPRED_HOME=/usr/hadoop 

export HBASE_HOME=/usr/hbase 

export HIVE_HOME=/usr/hive 

export ZOOCFGDIR=/usr/zookeeper

(如果数据读取不设计hbase和hive，那么相关hbase和hive的配置可以不加，如果集群有独立的zookeeper集群，那么配置zookeeper，反之，不用配置)。

 

3.copy需要的lib包到Sqoop/lib

所需的包：hadoop-core包、mysql的jdbc包（或Oracle的jdbc包等）

cp ~/hadoop/hadoop-core-1.0.4.jar ~/sqoop/lib/

cp mysql-connector-java-5.1.18.jar ~/sqoop/lib/

 

4.添加环境变量

gedit /etc/profile

export SQOOP_HOME=/usr/sqoop

export PATH=$SQOOP_HOME/bin:$PATH

export LOGDIR=$SQOOP_HOME/logs

遇到的问题：

1.mysql启动出错：

    ubuntu下的mysql配置的修复命令

    sudo dpkg-reconfigure mysql-server

2.sqoop连接mysql成功，但是从mysql导入到hive中出错：