大数据开发:sqoop和hive

大数据开发:sqoop和hive
Hadoop生态系统包含了用于协助Hadoop的不同的子项目（工具）模块，如Sqoop, Pig 和 Hive。
Sqoop: 它是用来在HDFS和RDBMS之间来回导入和导出数据。
Hive: 它是用来开发SQL类型脚本用于做MapReduce操作的平台

我们以一般的从关系型数据库读取数据,然后大数据平台做分析处理,然后将处理完后的数据回写到关系型数据库中这种步骤为例
操作步骤
1.用sqoop工具,将关系型数据库写入到hive的数据库表中
2.用hiveQL语句,对导入的数据做处理,写入到某个表中或者文件中
3.用sqoop将处理完成的数据,写入到某个关系型数据库表中,方便使用.

这种一般适用于加工历史产生的数据,作为历史数据报表等.(T-1)