Hadoop权威指南——学习笔记1

Hadoop集群配置详解
本文摘录自《Hadoop权威指南》,重点介绍了Hadoop集群配置中的关键属性:dfs.name.dir用于namenode存储文件系统元数据;dfs.data.dir指定datanode的数据存储位置;fs.checkpoint.dir用于保存辅助namenode的检查点。这些配置对于搭建稳定高效的Hadoop集群至关重要。

  单位买的Hadoop权威指南,一直放着,最近拿起来看了看,确实不错,好久没读书了,不知道这么厚的一本能看多少。我是翻到那里看到哪里了,有用的记下来,以后查的时候方便吧。先来第一篇,今天看的第九章构架hadoop集群的hadoop配置,发现有些配置以前理解错了,记下来,记下来。

  1. 属性项dfs.name.dir指定一系列目录供namenode存储永久性的文件系统元数据(编辑日志和文件系统映像)。这些元数据文件会同时备份在所有指定的目录中。通常情况下,配置dfs.name.dir,将namenode的元数据写到一个(或两个)本地磁盘和一个远程磁盘(例如NFS挂载的目录)之中。辅助namenode只定期保存namenode的检查点,不提供namenode的最新备份
  2. 属性项dfs.data.dir指定datanode存储数据目录。虽然 dfs.data.dir也描述了一系列目录,但是其目的是循环地在各个目录中写数据。因此,为了提高性能,最好分别为各个本地磁盘制定一个存储目录。这样一来,数据块跨磁盘分布,针对不同的数据块的读操作可以并发执行,从而提升读性能。
  3. 属性项fs.checkpoint.dir指定一系列目录来保存辅助namenode存储文件系统的检查点。与namenode类似,检查点映像文件会分别存储在各个目录之中,以支持冗余备份。

转载于:https://www.cnblogs.com/Ray8686/archive/2012/08/09/2630672.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值