水袖怀颜

1).从HDFS、Hive表导出到Mysql      由于hive表的数据库和表其实就是HDFS上的目录和文件，所以从Hive表导出数据就是从HDFS对应的目录导出数据 先在mysql中创建表接收导出数据 create table  hive2mysql( deptno int, deptname varchar(20), address varchar(20) );

1.在/opt/modules下创建一个cdh空目录 $ mkdir cdh       //cdh版本的hadoop， hive，sqoop安装在此目录下 2.解压cdh版本的hadoop，hive，sqoop $ tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules/cdh $ tar -zxf hive-0.13.1-cdh5.3

例：$HIVE_HOME/bin/hadoop fs -chmod 777 /user/hive/warehouse/db_hive.db

Sqoop 工具是Hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于每天产生的数据量不是很大的情形可以全表导入，但是sqoop也提供了增量数据导入的机制。 下面介绍几个常用的sqoop的命令，以及一