hadoop 配置完善（二）

最新推荐文章于 2023-02-15 21:54:57 发布

凌冰_

最新推荐文章于 2023-02-15 21:54:57 发布

阅读量222

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/hlx20080808/article/details/80095148

Hadoop 专栏收录该内容

22 篇文章

订阅专栏

本文详细介绍了Hadoop集群的配置过程，包括不同主机配置文件的优先级、具体配置项及如何启动相关进程。通过修改配置文件中的主机名、端口号等参数，确保集群正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop主机配置
  优先顺序：
  1)share目录下默认的配置文件（最低)
  2)etc目录下配置文件（其次）
  3）命令执行(最高）
  执行案例之前必须启动6个进程哦！

案例：删除uber模式启动

#bin/hadoop jar share/hadoop/mapreduce/hadoop-mapredude-examples-2.7.6.jar wordcount -D mapreduce.job.ubertask.enable=false /words /test01

执行后查看：

在启动时候查看：

将localhsot修改成主机名，【0.0.0.0】也修改成主机名：
（1）NameNode/SecondNameNode

http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

dfs.namenode.secondary.http-address=hlx:50090
dfs.namenode.secondary.https-address 这两个配置一个就OK！

hdfs-site.xml文件

<!--浏览器访问的端口-->
	 <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hlx:50090</value>
    </property>
	<!--namenode web UI 端口-->
	 <property>
        <name>dfs.namenode.http-address</name>
        <value>hlx:50070</value>
    </property>

(2)DataNode/NodeManager

在slaves修改

(3)JobHistoryServer

http://hadoop.apache.org/docs/r2.7.6/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

mapred-site.xml文件

<!-- jobhistory web端口 -->
	<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hlx:19888</value>
    </property>
	<!-- jobhistory与yarn通信的端口 -->
	<property>
        <name>mapreduce.jobhistory.address</name>
        <value>hlx:10020</value>
    </property>

(4)ResourceManager

http://hadoop.apache.org/docs/r2.7.6/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

yarn-site.xml文件

<!--yarn的主机 -->
	 <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hlx</value>
    </property>
	<!--yarn的web端口 -->
	 <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hlx:8088</value>
    </property>
	<!--yarn的通信端口 -->
	 <property>
        <name>yarn.resourcemanager.address</name>
        <value>hlx:8032</value>
    </property>

(5)webapplication如何启动 (代理进程,防止攻击，系统防火墙）
#sbin/yarn-daemon.sh start proxyserver

#jps

没有启动,查看日志分析
#ls logs/

#more logs/yarn-root-proxyserver-hadoop.log

按Enter查看,有个错误！

http://hadoop.apache.org/docs/r2.7.6/hadoop-yarn/hadoop-yarn-common/yarn-default.xml查找

yarn-site.xml文件

<!--yarn的代理端口  8888:是自己定义 -->
	 <property>
        <name>yarn.web-proxy.address</name>
        <value>hlx:8888</value>
    </property>

   最后查看:
  （1）先停止dfs 再重新启动dfs
  （2）先停止yarn 再重新启动yarn

（3）先停止jobhistory 再重新启动jobhistory

再依次启动查看，现在所有的都在主机hlx 中

(4) #sbin/yarn-daemon.sh start proxyserver