博文作者:
那伊抹微笑
csdn 博客地址:
http://blog.youkuaiyun.com/u012185296
itdog8 地址链接 : http://www.itdog8.com/thread-202-1-1.html
博文标题:HBase - MapReduce - 使用 MapReduce 批量操作 HBase 介绍 | 那伊抹微笑
个性签名: 世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在
技术方向: Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术
转载声明: 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作!
qq交流群:214293307
(期待与你一起学习,共同进步)
博文标题:HBase - MapReduce - 使用 MapReduce 批量操作 HBase 介绍 | 那伊抹微笑
个性签名: 世界上最遥远的距离不是天涯,也不是海角,而是我站在妳的面前,妳却感觉不到我的存在
技术方向: Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark ... 云计算技术
转载声明: 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作!
qq交流群:214293307

1 三种访问模式
HBase 作为输入源:输入源是 HBase,输出源可以使 RDBMS、HDFS 或其他 NoSQL。多用于统计现有 HBase 中的相关数据,将结果输出到非 HBase 存储中。
HBase 作为输出源:与 HBase 作为输入正好相反。输入是其它非 HBase 存储,例如 RDBMS、HDFS等,输出到 HBase。常用于数据迁移,从传统存储迁移到 HBase。
HBase 作为共享源:输入和输出源都是 HBase。常用于丹数据已经存储在HBase 中,中间结果处理后仍需要使用 HBase 作为存储的处理场景。比如:特殊业务列的更新
2 实现 MapReduce API(HBase 自带,方便用户开发)
-----------------------------------
-DML 命令列表-----------------------------------------------------------
-------
--
类名
| 类作用解释 |
TableInputFormat
| 将 HBase 中的表格式数据格式化为 MapReduce 可读的格式 |
TableOutputFormat
|
将 MapReduce 格式数据转化为 HBase 表格式数据
|
MultiTableInputFormat
|
将多个 HBase 中的表格式数据格式化为 MapReduce 可读的格式
|
MultiTableOutputFormat
|
将 MapReduce 格式数据转化到多个 HBase 表中
|
TableMapper
|
扩展自 Mapper 类,所有以 HBase 作为输入源的 Mapper 类需要继承该类
|
TableReducer
|
扩展自 Reudcer 类,所有以 HBase 作为输出源的 Reducer 类需要继承该类
|
TableMapReduceUtil
|
设置 TableMapper 和 TableReducer 的工具类
|
CellCounter
|
计算表中单元格数据量的任务
|
RowCounter
|
计算表中行键数据量的任务
|