大数据传输框架Sqoop学习总结

Sqoop介绍:
一种用于在大数据传输数据的工具。主要作用在mysql与大数据集群（hdfs，hive，hbase）之间的数据传输。

Sqoop原理：
将导入导出命令转化成MR程序来实现。

Import：
是指Mysql数据导入大数据集群

Export：
是指将大数据集群数据导出到mysql

Sqoop导入到HDFS主要方式：

全部导入
–query 查询导入
–where 条件导入
–columns列导入

Sqoop导入数据到Hive经过两步：先将数据导入到HDFS后，在import导入hive

Sqoop导入数据到Hbase要指定rowkey，列族，列（一步到位）

Sqoop导出数据：

调用脚本文件(内含导出数据Linux命令)执行导出命令：
bin/sqoop --options-file [脚本文件名]