hadoop core 默认配置文件(core-default.xml)参数解析(一)

1  全局属性

hadoop.tmp.dir

    默认值为/tmp/hadoop-${user.name}。其他临时目录都在此目录下

hadoop.native.lib

    默认为true，如果hadoop 本地库存在，则使用本地库

hadoop.http.filter.initializers

    默认为空。该属性的值可以是以逗号分隔的一组类。该类必须继承org.apache.hadoop.http.FilterInitializer。这些fliter用于所有使用jsp和servlet用户。

hadoop.security.group.mapping

    默认值为org.apache.hadoop.security.ShellBasedUnixGroupsMapping。该类被用来映射用户的组。

hadoop.security.authorization

    默认值为false。代表了是否允许服务级别授权。

hadoop.security.authentication

    默认值为simple。取值为simple(不授权)或kerberos

2 日志属性

hadoop.logfile.size

    默认为10000000。每个日志文件大小的最大值

hadoop.logfile.count

    默认值10。日志文件的最大个数

3 I/O属性

io.file.buffer.size

    默认为4096。在使用sequence 文件时缓冲的大小。该值应该是硬件页大小的整数倍。它决定了在一次读取操作时有多少数据被缓冲。

io.bytes.per.checksum

    默认为512.在数据完整性检查时使用该参数。必须比io.file.buffer.size参数大。含义：对数据块中io.bytes.per.checksum个字节做一次CRC32，冗余检测。

io.skip.checksum.errors

    默认为false。如果为true，当在checksum时遇到错误，跳过错误，而不是抛出异常。

io.compression.codecs

    org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec。用来压缩和解压缩

io.serializations

    org.apache.hadoop.io.serializer.WritableSerialization。可被用来序列化和反序列化的类。