MapReduce的数据模型非常简单,它的Map和Reduce函数使用键值对进行输入和输出。本章将深入讨论MapReduce的数据模型,尤其是文本或者二进制类型的数据如何在MapReduce中使用。
1. MapReduce的类型
map和reduce函数遵循以下的形式:
map: (K1, V1) -> list(K2, V2)
reduce: (K2, list(V2)) -> list(K3, V3)
In general, the map input key and value types (K1 and V1) are different from the map output types (K2 and V2). However, the reduce input must have the same types as the
map output, although the reduce output types may be different again (K3 and V3).
2. 输入格式
Text Input
Binary Input
Multiple Inputs
Database Input
3. 输出格式
Text Output
Binary Output
Multiple Outputs
Lazy Output
Database Output
本文深入探讨了MapReduce的数据模型,包括其基本的Map和Reduce函数形式,以及不同类型的输入和输出格式,如文本和二进制数据。通过理解这些核心概念,读者可以更好地掌握MapReduce的工作原理。
1446

被折叠的 条评论
为什么被折叠?



