hadoop的nodemanage详解

Hadoop的NodeManager是Hadoop YARN中的一个关键组件，它负责在每个节点上管理和监控容器（container）的运行。

NodeManager的主要职责包括：

1. 容器管理：NodeManager负责启动、终止和监控容器的运行。它通过与ResourceManager通信，接收来自RM的命令，并相应地启动和停止容器。NodeManager还会监控容器的运行状态，以确保容器正常运行并及时报告任何错误或异常。
2. 资源管理：NodeManager会向ResourceManager报告其所在节点上的资源情况。它会定期向RM更新节点的可用资源数量，并根据RM的分配策略来分配资源给容器。NodeManager还会监控节点上的资源使用情况，并在资源紧缺或超出限制时采取适当的措施。
3. 日志管理：NodeManager会收集容器的日志信息，并将其发送给ResourceManager。这些日志可以被用于监控和故障排除目的。
4. 安全性：NodeManager会与Hadoop的安全机制进行集成，以确保只有授权的用户可以提交和运行容器。它会验证容器的身份并执行相应的安全检查。
5. 心跳和监控：NodeManager会定期向ResourceManager发送心跳，以向RM报告自己的状态和可用资源情况。它还会向ResourceManager报告节点的健康状况和容器的运行状态。

Hadoop的nodemanager相关配置主要包括以下部分：

1. yarn-site.xml文件中的配置：

• yarn.nodemanager.aux-services：指定NodeManager的辅助服务，通常设置为mapreduce_shuffle，表示使用MapReduce的Shuffle服务。
• yarn.nodemanager.aux-services.mapreduce.shuffle.class：指定Shuffle服务的实现类，通常设置为org.apache.hadoop.mapred.ShuffleHandler。

2. yarn-default.xml文件中的配置：

• yarn.nodemanager.resource.memory-mb：指定每个NodeManager可用的最大内存，单位为MB。
• yarn.nodemanager.resource.cpu-vcores：指定每个NodeManager可用的最大CPU核心数。
• yarn.nodemanager.local-dirs：指定NodeManager本地文件系统的目录，用于存储临时数据。
• yarn.nodemanager.log-dirs：指定NodeManager日志文件的存储目录。
• yarn.nodemanager.remote-app-log-dir：指定NodeManager远程应用程序日志文件的存储目录。
• yarn.nodemanager.localizer.cache.cleanup.interval-ms：指定本地资源缓存目录清理的时间间隔，单位为毫秒。
• yarn.nodemanager.localizer.cache.target-size-mb：指定本地资源缓存目录的最大大小，单位为MB。

3. hdfs-site.xml文件中的配置：

• dfs.namenode.hostname：指定NameNode的主机名或IP地址。
• dfs.namenode.rpc-address：指定NameNode的RPC地址，格式为：主机名或IP地址:端口号。
• dfs.namenode.http-address：指定NameNode的HTTP地址，格式为：主机名或IP地址:端口号。
• dfs.datanode.hostname：指定DataNode的主机名或IP地址（可选）。

以上是一些常用的NodeManager相关配置，你可以根据自己的需求进行调整和修改。

NodeManager是Hadoop集群中每个节点上的一个守护进程，它与ResourceManager、ApplicationMaster和其他NodeManager之间进行通信，以协调和管理容器的运行。通过合理配置和调整NodeManager的参数，可以优化集群的性能和可靠性。