云凡教育Hadoop配置项整理(hdfs-site.xml)

Hadoop配置项整理(hdfs-site.xml)

hdfs相关的配置项

name	value	Description
dfs.default.chunk.view.size	32768	namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。
dfs.datanode.du.reserved	1073741824	每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保留，0字节
dfs.name.dir	/opt/data1/hdfs/name, /opt/data2/hdfs/name, /nfs/data/hdfs/name	NN所使用的元数据保存，一般建议在nfs上保留一份，作为1.0的HA方案使用，也可以在一台服务器的多块硬盘上使用
dfs.web.ugi	nobody,nobody	NN,JT等所使用的web tracker页面服务器所使用的用户和组
dfs.permissions	true | false	dfs权限是否打开，我一般设置false，通过开发工具培训别人界面操作避免误操作，设置为true有时候会遇到数据因为权限访问不了。
dfs.permissions.supergroup	supergroup	设置hdfs超级权限的组，默认是supergroup，启动hadoop所使用的用户通常是superuser。
dfs.data.dir	/opt/data1/hdfs/data, /opt/data2/hdfs/data, /opt/data3/hdfs/data, ...	真正的datanode数据保存路径，可以写多块硬盘，逗号分隔
dfs.datanode.data.dir.perm	755	datanode所使用的本地文件夹的路径权限，默认755
dfs.replication	3	hdfs数据块的复制份数，默认3，理论上份数越多跑数速度越快，但是需要的存储空间也更多。有钱人可以调5或者6
dfs.replication.max	512	有时dn临时故障恢复后会导致数据超过默认备份数。复制份数的最多数，通常没什么用，不用写配置文件里。
dfs.replication.min	1	最小份数，作用同上。
dfs.block.size	134217728	每个文件块的大小，我们用128M，默认是64M。这个计算需要128*1024^2，我碰上过有人直接写128000000，十分浪漫。
dfs.df.interval	60000	磁盘用量统计自动刷新时间，单位是毫秒。
dfs.client.block.write.retries	3	数据块写入的最多重试次数，在此次数之前不会捕获失败。
dfs.heartbeat.interval	3	DN的心跳检测时间间隔。秒
dfs

2014什么技术最火??当然最属hadoop2，云凡教育hadoop2.x课程实时在线授课，专业课程指导，让你无后顾之忧；你还在玩hadoop1，你out了！详情请加入QQ群：186401641，获取最新的公开课通知！