<think>好的，我现在需要解决
YARN NodeManager
启动失败的问题。首先，我需要了解用户提供的引用内容，看看里面有没有提到常见的原因和解决方法。让我先仔细看一下用户提供的五个引用内容。
引用[1]提到的问题是“cannot write to cgroup at /sys/fs/cgroup/cpu,cpuacct”，并且每次
启动失败后
hadoop-
yarn目录会被删除。这说明可能是
权限问题或者cgroup配置不正确。用户执行了一些操作但无效，可能需要检查目录
权限或者cgroup的挂载情况。
引用[3]提到了环境变量配置的问题，用户需要将
YARN_RESOURCEMANAGER_USER和
YARN_NODEMANAGER_USER设置为root。这可能是因为
Hadoop在
启动时需要特定的用户
权限，如果环境变量没有正确设置，可能导致
启动失败。解决方法是在/etc/profile中添加这些变量并source生效。
引用[5]给出了资源管理的配置，比如
yarn.nodemanager.resource.memory-mb和cpu-vcores的设置。如果这些资源配置过低或者不正确，可能导致NodeManager无法
启动。需要检查
yarn-site.xml中的相关参数是否合理，是否有足够的系统资源。
引用[2]和[4]虽然涉及内存管理和日志聚合的问题，但可能不是直接导致
启动失败的原因，不过内存配置
错误也可能导致
启动失败，比如启用了pmem-check但内存设置不足，导致进程被杀掉。此外，引用[4]中的日志聚合参数可能影响任务运行后的日志处理，但不影响
启动本身，除非日志目录
权限有问题。
接下来，我需要综合这些信息，整理出可能的原因和对应的解决方案。可能的原因包括：
1.
权限问题：cgroup目录的
权限不足，或者
Hadoop相关目录的
权限问题。
2. 环境变量未正确设置：
YARN的用户环境变量未配置，导致
启动时
权限不足。
3. 资源配置
错误：内存或CPU资源配置不当，导致NodeManager无法分配资源。
4. 配置文件
错误：
yarn-site.xml中的某些参数配置
错误，例如日志聚合线程数或其他相关参数。
可能的解决步骤：
首先检查环境变量是否正确设置，尤其是
YARN_NODEMANAGER_USER是否为root，并确保通过source生效。然后检查cgroup目录的
权限，确保NodeManager有写入
权限。接着查看资源配置参数，如内存和CPU是否合理，是否超出物理资源限制。最后，检查其他相关配置，如日志目录是否存在且有正确
权限，以及配置文件是否有语法
错误。
同时，用户提到的
hadoop-
yarn目录被删除，可能是因为
启动失败后自动清理，但需要确认该目录的
权限是否正确，是否允许NodeManager进程创建和写入。另外，引用[1]中的cgroup问题可能需要检查系统是否启用了cgroup，以及相关子系统是否挂载正确。在Linux系统中，cgroup的配置可能需要特定的
启动参数或服务启用。
此外，还要查看NodeManager的日志文件，通常位于logs目录下，具体的
错误信息会帮助定位问题。例如，如果日志显示无法写入cgroup，那么需要调整cgroup的
权限或配置；如果显示内存不足，可能需要调整
yarn.nodemanager.resource.memory-mb的值。
总结下来，解决步骤应该是按照
权限、环境变量、资源配置、配置文件检查这样的顺序进行排查，同时结合日志分析具体原因。</think>###
YARN NodeManager
启动失败原因及解决方案
#### 一、常见原因分析
1. **
权限问题**
- **cgroup目录
权限不足**：NodeManager需要访问$`/sys/fs/cgroup/cpu,cpuacct`$目录，若目录
权限或挂载异常会导致
启动失败[^1]。
- **
Hadoop系统目录
权限错误**：例如`
hadoop-
yarn`目录被自动删除，可能因进程无
权限重新创建目录。
2. **环境变量未配置**
- 未设置
YARN用户环境变量（如$`
YARN_NODEMANAGER_USER=root`$），导致服务
启动时
权限不足[^3]。
3. **资源配置不合理**
- 内存或CPU参数（$`
yarn.nodemanager.resource.memory-mb`$、$`
yarn.nodemanager.resource.cpu-vcores`$）超出物理资源上限，或未正确配置[^5]。
4. **内存检查机制冲突**
- 若启用$`
yarn.nodemanager.pmem-check-enabled`$但未合理配置内存限制，可能导致进程被系统终止[^2]。
---
#### 二、解决方案步骤
##### 1. 检查
权限配置
- **修复cgroup目录
权限**
```bash
# 检查cgroup挂载状态
mount | grep cgroup
# 修改目录
权限（需root
权限）
chmod 755 /sys/fs/cgroup/cpu,cpuacct
```
若目录未挂载，需在`/etc/fstab`中添加配置并重启。
- **确保
Hadoop目录可写入**
检查`/tmp/
hadoop-
yarn`等目录
权限，确保
YARN用户有读写
权限：
```bash
chown -R
yarn:
yarn /tmp/
hadoop-
yarn
```
##### 2. 配置环境变量
在`/etc/profile`中添加以下变量并生效：
```bash
export
YARN_RESOURCEMANAGER_USER=root
export
YARN_NODEMANAGER_USER=root
source /etc/profile # 立即生效
```
重启
YARN服务验证是否生效。
##### 3. 调整资源配置参数
修改`
yarn-site.xml`中的资源配置（需与实际物理资源匹配）：
```xml
<property>
<name>
yarn.nodemanager.resource.memory-mb</name>
<value>8192</value> <!-- 不超过物理内存的80% -->
</property>
<property>
<name>
yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value> <!-- 不超过物理CPU核心数 -->
</property>
```
重启NodeManager服务。
##### 4. 关闭或调优内存检查
若无需严格内存限制，可暂时关闭内存检查：
```xml
<property>
<name>
yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
```
##### 5. 检查日志定位问题
查看NodeManager
启动日志（默认路径：`$
HADOOP_HOME/logs/
yarn-
yarn-nodemanager-*.log`），根据
错误提示进一步排查：
- 若提示`Cannot create directory`，检查磁盘空间和目录
权限。
- 若涉及cgroup
错误，需验证Linux系统是否支持cgroup v1/v2。
---
#### 三、验证方法
1. 手动
启动NodeManager：
```bash
yarn --daemon start nodemanager
```
2. 检查服务状态：
```bash
jps | grep NodeManager
```
---
YarnSparkLivy启动失败
探讨了YarnSparkLivy启动失败的问题，日志显示权限问题，即使修改权限仍无法启动。通过检查启动脚本，发现是由于hfs的安全设置未关闭，该设置在未配置HDFS认证的情况下会引发权限认证失败。
扫一扫
340
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
