
MapReduce
修水管的
这个作者很懒,什么都没留下…
展开
-
用MapReduce将sql数据写入Hbase
sql: 在sql的数据库中包含两种元素:即模式(比较强的表结构)和元组(数据记录) nosql: 在nosql里面一般更强调元组而弱化模式,有些nosql中没有模式,有些nosql有比较弱的模式,比方说有表而没有明确的字段,或者有表有更为广义上的字段组hbase是nosql的一种,它的设计和使用都是反模式的。它里面不是完全没有模式,它的模式分为三层 1.namespace 类似于mysq...原创 2018-03-10 14:44:00 · 795 阅读 · 0 评论 -
MapReduce运行机制
MapReduce 的运行流程 整个流程可以分为 split,map,shuffle,reduce,output 五个阶段1 split在 split 阶段会把需要处理的数据划分为不同的切片;把个切片交给不同 map 程序进行处理;切片后数据会被解析为 kv 对输入到 map 进行处理。2 map在 map 阶段可以对输入的 kv 对进行处理后再以 kv 对的形式输出...原创 2018-03-10 14:59:16 · 1101 阅读 · 0 评论