Hadoop
文章平均质量分 65
指尖以东
一个简简单单,热爱学习的程序员,希望有朝一日能长成参天大树,撑起一片蓝天
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
关于RPC类型框架的初识
RPC框架概述远程过程调用协议;系统间的一种通信方式;让程序员来调用远程进程上代码的一套工具。RPC发展历程ONC RPC (开放网络计算的远程过程调用),OSF RPC(开放软件基金会的远程过程调用)CORBA(Common Object Request Broker Architecture公共对象请求代理体系结构)DCOM(分布式组件对象模型),COM+Java RMI.NET Re原创 2016-09-19 23:34:10 · 769 阅读 · 0 评论 -
极客学院Hadoop学习【HDFS的体系结构】
因为是在极客学院看视频学习的,所以引入的图都是极客学院视频的截图。设计目标自动快速检测应对硬件错误流式访问数据转移计算比移动数据本身更划算简单一致性模型易购平台可移植性 这里提下master-slave模式:基于经典的命令模式,Master和Slave之间通过相互发送命令(Command)实现交互,命令是一个抽象的概念,Command可以用来分发任务,也可以用来传输数据, 这完全由业务来原创 2016-09-21 13:07:17 · 524 阅读 · 0 评论 -
极客学院Hadoop学习【MapReduce的体系结构】
简介分布式编程架构以数据为中心,更看重吞吐率分为治之Map将一个任务分解为多个子任务Reduce将分解后多任务分布处理,并将结果汇总最终结果体系结构图基本概念作业(Job)任务(Task) MapTask/ReduceTask键值对(key/value pair) Map()、Reduce()函数的输入、输出都是生命周期提交作业:在作业提交之前,需要对作业配置程序代码,主要是原创 2016-09-21 14:12:40 · 483 阅读 · 0 评论
分享