Mapreduce----<<数学之美>>

本文通过矩阵乘法实例解析了MapReduce的工作原理。利用《数学之美》中的方法,将矩阵分解并分配到多台计算机上进行计算,完成Map过程;随后汇总各部分结果得到最终答案,实现Reduce过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


吴军老师(吴军老师的个人主页)的《数学之美》第29章,用大白话给出了Mapreduce根本原理。

将一个大任务拆分成小的任务,并且完成子任务的计算,这个过程叫做Map

将中间结果合并成最终结果,这个过程叫做Reduce

______________________________________________________________________________________________________________________________________

首先,看一个最基本的问题:矩阵的乘法。

要实现矩阵乘法的MapReduce,只要能够理解分块矩阵相乘就可以了,已知矩阵

其中:

矩阵

,那么


下面我们将矩阵和矩阵分块,有太多方法,我这里还是拿《数学之美》中矩阵分块的方法。将矩阵按列分为块,矩阵按行分为块,即:


其中

那么显然:

这时候,我们就可以准备台计算机,每一台计算机计算一个,这就是Map的过程,然后,再把这台计算机上的结果加和,就是Reduce的过程。

————————————————————————————————————————————————————————————————————————————

后续,会加上常用的机器学习算法的MapReduce过程。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值