hadoop配置中的重要参数

本文详细解析了Hadoop配置文件中关键参数的作用、取值范围和使用场景,包括NameNode的URI、JobTracker的位置、数据存储路径等,帮助读者深入理解Hadoop集群的配置与管理。

参数

取值

备注

fs.default.name

NameNodeURI

hdfs://主机名/

mapred.job.tracker

JobTracker的主机(或者IP)和端口

主机:端口

dfs.name.dir

NameNode持久存储名字空间及事务日志的本地文件系统路径

当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份

dfs.data.dir

DataNode存放块数据的本地文件系统路径,逗号分割的列表

当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上

mapred.system.dir

Map/Reduce框架存储系统文件的HDFS路径(比如/hadoop/mapred/system/

这个路径是默认文件系统(HDFS)下的路径, 须从服务器和客户端上均可访问

mapred.local.dir

本地文件系统下逗号分割的路径列表,Map/Reduce临时数据存放的地方

多路径有助于利用磁盘i/o

mapred.tasktracker.{map|reduce}.tasks.maximum

某一TaskTracker上可运行的最大Map/Reduce任务数,这些任务将同时各自运行

默认为22map2reduce),可依据硬件情况更改

dfs.hosts/dfs.hosts.exclude

许可/拒绝DataNode列表

如有必要,用这个文件控制许可的datanode列表

mapred.hosts/mapred.hosts.exclude

许可/拒绝TaskTracker列表

如有必要,用这个文件控制许可的TaskTracker列表

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值