hadoop conf中xml文件修改

最新推荐文章于 2020-06-04 21:01:47 发布

weixin_34204722

最新推荐文章于 2020-06-04 21:01:47 发布

阅读量193

点赞数

文章标签：大数据

本文介绍了Hadoop集群的基本配置文件，包括core-site.xml、hdfs-site.xml和mapred-site.xml的具体配置项，以及如何通过配置masters和slaves文件来指定集群节点。最后，通过格式化命令初始化Hadoop NameNode。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
　　<property>-------指定NameNode主机名与端口号
　　　　<name>fs.default.name</name>
　　　　<value>hdfs://localhost:9000</value>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>/opt/data/tmp</value>
　　</property>
</configuration>

hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
　　<property>-------设置HDFS的副本数
　　　　<name>dfs.replication</name>
　　　　<value>1</value>
　　</property>
　　<property>
　　　　<name>dfs.permissions</name>
　　　　<value>false</value>
　　</property>
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
　　<property>-------指定JobTracker的主机与端口号
　　　　<name>mapred.job.tracker</name>
　　　　<value>localhost:9001</value>
　　</property>
</configuration>

masters---------指定SecondaryNameNode的位置

localhost

slavers----------指定DataNode和TaskTracker的位置

localhost

格式化

[hadoop@localhost bin]$ hadoop namenode -format