- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hadoop Mapreduce
Hadoop MapReduce 整个MR的过程可以分解为下面几步 读取数据 Map reduce output Hadoop 读取数据 通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个Map处理，RecordReader读取InputSplit的内容给Map 通过InputFormat决定读取的数据的类型 功能 验证...
2019-02-24 15:29:27
266
原创 YARN基本原理和YARN工作流程
Mapreduce 1.0 旧的MapReduce架构 旧的MapReduce架构 、 基本概念 JobTracker: 负责资源管理，跟踪资源消耗和可用性，作业生命周期管理（调度作业任务，跟踪进度，为任务提供容错） TaskTracker: 加载或关闭任务，定时报告认为状态 旧的架构的问题 JobTracker是MapReduce的集中处理点，存在单点故障 JobTracker完成了太多的...
2019-02-20 23:30:09
1352
原创 Hadoop-HDFS基本原理
Hadoop （HDFS） Hadoop Distributed File System，分布式文件系统 架构中的基本概念 block 基本存储单位，一般64M，比数据库中的页要大很多 基本的读写单位，类似于磁盘的页，每次都是读写一个块 每个块都会被复制到多台机器，默认复制3份 配置大的block 减少搜寻时间，一般硬盘传输速率比寻道时间要快，大的块可以减少寻道时间 每个块都需要在Name...
2019-02-19 22:38:50
244
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人