Hadoop
关注
分享
扫一扫
文章平均质量分 78
huyfaeng
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
从HDFS看分布式文件系统的设计需求
分布式文件系统的设计需求大概是这么几个：透明性、并发控制、可伸缩性、容错以及安全需求等。我想试试从这几个角度去观察HDFS的设计和实现，可以更清楚地看出HDFS的应用场景和设计理念。 首先是透明性，如果按照开放分布式处理的标准确定就有8种透明性：访问的透明性、位置的透明转载 2011-09-27 10:24:03 · 190 阅读 · 0 评论 -
从Hadoop框架与MapReduce模式中谈海量数据处理
从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是转载 2011-09-27 10:26:23 · 182 阅读 · 0 评论 -
Hadoop分布式文件系统：架构和设计要点
Hadoop分布式文件系统：架构和设计要点原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一转载 2011-09-27 10:21:49 · 136 阅读 · 0 评论 -
Hadoop平台优化综述（一）
1. 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题转载 2011-09-29 22:46:43 · 258 阅读 · 0 评论 -
Hadoop平台优化综述（二）
4. 从系统实现角度进行优化4.1 在可移植性和性能之间进行权衡论文[16]主要针对HDFS进行了优化，它分析了HDFS性能低下的两个原因：调度延迟和可移植性假设。（1） 调度延迟Hadoop采用的是动态调度算法，即：当某个taskt转载 2011-09-29 22:47:50 · 258 阅读 · 0 评论 -
MapReduce源码分析总结
MapReduce源码分析总结转者注：本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的，然而查找资料的时候，发现了这篇文章，并且发现caibinbupt已经对Hadoop的源代码已经进行了详细的分析，推荐大家阅读。转自http:/转载 2011-10-10 08:53:57 · 224 阅读 · 0 评论