
hadoop
文章平均质量分 77
ColZer
专注基础架构和云平台
展开
-
Hadoop 2.3.0编译
下载版本: http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.3.0 安装maven和java 安装版本为:Apache Maven 3.0.4,2.×版本会出现编译错误 安装java,设置path环境变量 安装protobuf 注意hadoop对protobuf有版本要求,需要安装2.5.0,如果原创 2014-04-30 09:59:13 · 2225 阅读 · 0 评论 -
HDFS中的集中缓存(Centralized Cache Management in HDFS)
集中缓存有两层概念: 第一层是缓存,即为存储在HDFS中文件提供缓存的机制,从而可以加速DFSClient对文件的读操作;第二层概念是集中式的管理,传统的HDFS缓存依赖了OS本身的缓存机制,但是这种缓存机制不能被管理员或中央节点进行管理,不能自由的控制哪些文件缓存,哪些文件不进行缓存;集中式的管理可以提高了对缓存内存的可控性; HDFS中集中缓存架构如下所示: User原创 2014-04-30 13:49:16 · 5597 阅读 · 0 评论