本文介绍了分布式计算技术中的MapReduce模式，作为分治法的典型应用，主要用于处理海量数据。MapReduce分为Map和Reduce两个阶段，Map阶段将大任务拆分为多个子任务并行处理，Reduce阶段对子任务结果进行汇总。Hadoop的MapReduce是Google MapReduce的开源实现，广泛应用于大数据处理。文章还提到了Fork-Join计算模式，它是Java的线程级分治框架，适用于单个Java虚拟机，与MapReduce的核心思想相似但不适用于大规模扩展。
上周我们学习了消息中间件的核心原理以及如何搭建一套高并发高可用且支持海量存储的生产架构（今天来设计一套高可用高并发、海量存储以及可伸缩的消息中间件生产架构），我们暂且先放一放，后面再进行RocketMQ 详细讲解，今天我们开始学习分布式系统中的另一个核心知识点，即分布式技术技术。
分布式计算技术，目前主要分为四大模式，主要包括 MapReduce 、Stream、Actor 以及流水线。今天我就从 MapReduce 模式开始。
相信你对于 Hadoop 这个框架并不陌生，它主要就是用来解决海量数据计算的问题。那你知道他是怎样去做海量数据计算的吗？采取了什么特殊算法吗？
我们自己先来想一下，既然是海量的数据，规模那么大，那我就先把这些数据分开，分成多个进程去处理
订阅专栏 解锁全文
扫一扫
1077
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
