分布式计算
关注
分享
扫一扫
文章平均质量分 77
first_wolf
linux
展开
-
MapReduce
一 概述： MapReduce任务过程分为两个处理阶段：map阶段和reduce阶段，每个阶段都以键/值对作为输入和输出，并由程序员选择它们的类型。其中map阶段的输出必须和reduce阶段的输入类型一致。 MapReduce作业(job)是客户端需要执行的一个工作单元：它包括输入数据、MapReduce程序和配置信息。 Hadoop将作业分为小任务（task）来执行，其中包括两类任原创 2013-03-13 10:10:02 · 967 阅读 · 0 评论 -
YARN概述
Hadoop YARN原创 2013-10-24 15:43:03 · 1555 阅读 · 0 评论 -
内存计算模型spark概述
待续...原创 2013-10-25 19:07:09 · 755 阅读 · 0 评论 -
流式计算模型storm概述
待续...原创 2013-10-25 19:01:52 · 750 阅读 · 0 评论 -
并行计算概述
一 并行计算概述： (1)并发、并行、分布式之间的差别(尚无统一意见，比较认同的如下)： *并发计算中，一个程序的多个任务会在同一时段内可以同时执行。 *并行计算中，一个程序通过多个任务紧密协作来解决某个问题。 *分布式计算中，一个程序需要和其它程序协作来解决某个问题。 *并行计算和分布式计算都是并发的，某些程序如多任务操作系统也是并发的，因为即使它运行在单核机器上，多个任务都能在同一个原创 2013-04-19 16:44:20 · 1782 阅读 · 0 评论