Hadoop配置文件--[core-site.xml]说明

最新推荐文章于 2023-02-17 14:03:01 发布

原创最新推荐文章于 2023-02-17 14:03:01 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop

Hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了Hadoop核心配置参数的意义及用法，包括fs.defaultFS、hadoop.tmp.dir等关键参数，帮助读者理解如何正确配置Hadoop环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、官方文档说明

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

二、参数说明

1. fs.defaultFS

比如：

hdfs://streamcluster

2. hadoop.tmp.dir

不配置的话是有默认值的，但是/tmp目录会丢失文件，需要重新设置。

比如：

/home/gulfmoon/tmp/hadoop/hadoop-${user.name}

3. io.native.lib.available

<property>
    <name>io.native.lib.available</name>
    <value>true</value>
    <description>Should native hadoop libraries, if present, be used.</description>
</property>

4. io.compression.codecs

<property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
    <description>A comma-separated list of the compression codec classes that can
      be used for compression/decompression. In addition to any classes specified
      with this property (which take precedence), codec classes on the classpath
      are discovered using a Java ServiceLoader.</description>
</property>

value中的值是指定hadoop-commonbao包中，类的完整路径。

5.其他

<property>
  <name>ipc.client.connect.max.retries</name>
  <value>100</value>
  <description>Indicates the number of retries a client will make to establish
      a server connection.
  </description>
</property>
<property>
  <name>ipc.client.connect.retry.interval</name>
  <value>10000</value>
  <description>Indicates the number of milliseconds a client will wait for
  before retrying to establish a server connection.
  </description>
</property>