<think>我们正在讨论CDH中
YARNResourceManager的配置，特别是关于`
yarn.nodemanager.linux
-container-executor.cgroups.strict
-resource
-usage`参数。以下将详细解释该参数的作用和使用场景，并说明在CDH中的配置方法。###1.`
yarn.nodemanager.linux
-container-executor.cgroups.strict
-resource
-usage`参数详解该参数属于
YARN的NodeManager级别配置，用于控制Linux容器执行器（Linux
ContainerExecutor）如何使用cgroups进行资源限制。其作用如下：|**属性**|**说明**||
----------|
----------||**参数名**|`
yarn.nodemanager.linux
-container-executor.cgroups.strict
-resource
-usage`||**默认值**|`false`（在大多数CDH版本中）||**生效条件**|必须启用Linux
ContainerExecutor且开启cgroups资源隔离||**可选值**|`true`（严格模式）,`false`（宽松模式）|####参数作用机制：
-**当设置为`false`（默认值）时**：NodeManager在资源隔离中采取**软限制**策略。即：1.允许容器**临时超用**资源（如CPU、内存），但cgroups会监控实际使用情况。2.若容器持续超用内存，Linux内核的OOMKiller会终止该容器进程。```mermaidgraphLRA[容器申请资源]
-->B{资源使用}B
-->|未超限|C[正常执行]B
-->|临时超限|D[cgroups允许短暂超用]D
-->|持续超内存|E[OOMKiller终止进程]```
-**当设置为`true`时**：NodeManager启用**硬性资源限制**：1.cgroups严格按照配置值限制资源使用量。2.容器**无法超用**任何资源（例如尝试分配超过限制的内存时，将直接触发内存分配失败）。3.适用于对资源隔离要求极高的场景。####使用场景对比：|**场景需求**|**推荐值**|**原因**||
--------------|
------------|
----------||避免瞬时资源峰值导致任务失败|`false`|允许短期超用，提高任务成功率||严格保障多租户资源隔离|`true`|防止恶意或异常任务挤占资源||测试环境或低负载集群|`false`|减少配置复杂性||生产环境高SLA要求|`true`|确保资源分配的确定性|###2.CDH中的配置步骤在ClouderaManager中配置该参数的流程如下：1.**登录ClouderaManager控制台**访问`http://<CM_HOST>:7180`，导航至**集群>
YARN服务>配置**。2.**定位配置项**在搜索框输入`
yarn.nodemanager.linux
-container-executor.cgroups.strict
-resource
-usage`，或手动定位路径：**分类**→`NodeManager`→**高级配置代码段（安全阀）**。3.**设置参数值**```xml<property><name>
yarn.nodemanager.linux
-container-executor.cgroups.strict
-resource
-usage</name><value>true</value><!
--或false
--></property>```4.**同步配置并重启**
-保存配置变更。
-重启
YARN服务（或仅重启NodeManager角色）。###3.与cgroups相关的其他关键参数配置`strict
-resource
-usage`时需联动调整以下参数：|**参数名**|**依赖关系**|**建议值**||
------------|
--------------|
------------||`
yarn.nodemanager.resource.percentage
-physical
-cpu
-limit`|控制CPU使用率上限|如`50`表示50%物理CPU||`
yarn.nodemanager.linux
-container-executor.cgroups.hierarchy`|cgroups挂载路径|`/
yarn`（默认）||`
yarn.nodemanager.linux
-container-executor.resources
-handler.class`|资源处理器|`org.apache.
hadoop.
yarn.server.nodemanager.util.CgroupsLCEResourcesHandler`|>**验证配置生效**：>在NodeManager节点执行以下命令检查cgroup规则：>```bash>cat/sys/fs/cgroup/memory/
yarn/
container_*/memory.limit_in_bytes>```>若`strict
-resource
-usage=true`，容器内存限制将严格等于`
yarn.scheduler.minimum
-allocation
-mb`的整数倍[^1]。###4.常见问题处理####Q:开启严格模式后任务频繁失败？**可能原因**：容器资源申请值过于接近实际需求，未预留缓冲空间。**解决方案**：
-调整`
yarn.scheduler.maximum
-allocation
-mb`增大单容器上限。
-在队列配置中预留部分buffer资源（如资源池的`maximum
-capacity`设为90%）。####Q:cgroups未生效？**排查步骤**：1.确认`/etc/
yarn/conf/
container-executor.cfg`中`cgroups.mount`已开启。2.检查NodeManager日志：```bashgrep
-icgroup/var/log/
yarn/
yarn-nodemanager
-*.log```出现`Usingstrictresourceusage`表示参数生效[^1]。§§相关问题§§1.如何在CDH中开启
YARN的cgroups资源隔离？2.配置`
yarn.nodemanager.resource.percentage
-physical
-cpu
-limit=50`有何实际影响？3.
YARN容器内存超用如何监控和告警？4.CDH版本升级后cgroups配置不兼容如何处理？[^2][^1]:CDH
YARN资源隔离文档[^2]:CDH升级检查清单</think>
### 深入解析：CDH中
YARN ResourceManager配置与`cgroups.strict
-resource
-usage`参数
#### 一、参数核心作用
**`
yarn.nodemanager.linux
-container-executor.cgroups.strict
-resource
-usage`** 是
YARN NodeManager级别的关键参数，用于控制Linux容器是否强制执行cgroups的硬性资源限制：
| **属性** | **默认值** | **作用机制** | **资源类型** |
|
----------|
-----------|
-------------|
-------------|
| **严格模式**(`true`) | `false` | 强制容器资源不超限 | 内存、CPU |
| **宽松模式**(`false`) | ✓ (默认) | 允许短暂资源超用 | 内存、CPU |
数学模型表达资源约束：
设容器申请资源为$R_{\text{request}}$，实际使用为$R_{\text{used}}$，则：
- **严格模式**：$R_{\text{used}} \leq R_{\text{request}}$（始终成立）
- **宽松模式**：$R_{\text{used}} \leq R_{\text{request}} + \delta$（允许瞬时超量$\delta$）
#### 二、配置场景与最佳实践
1. **场景选择**
- ✅ **用严格模式**：
- 多租户环境下需要强隔离性
- 安全敏感型应用（如金融计算）
- CDH集群资源利用率>80%的高压场景
- ✅ **用宽松模式**：
- 开发/测试环境
- 突发性负载（如临时数据分析任务）
- 老旧硬件资源弹性不足时
2. **CDH配置路径**
```bash
Cloudera Manager →
YARN服务 → 配置搜索 → 输入参数名 → 修改值
```
```xml
<!
-- 配置示例（安全阀添加）
-->
<property>
<name>
yarn.nodemanager.linux
-container-executor.cgroups.strict
-resource
-usage</name>
<value>true</value> <!
-- 或 false
-->
</property>
```
3. **资源关联参数**
需协同配置（单位：MB）：
```math
\begin{cases}
\text{NodeManager总内存} & : \texttt{
yarn.nodemanager.resource.memory
-mb} \\
\text{单容器最小内存} & : \texttt{
yarn.scheduler.minimum
-allocation
-mb} \\
\text{虚拟内存比率} & : \texttt{
yarn.nodemanager.vmem
-pmem
-ratio}
\end{cases}
```
#### 三、严格模式底层机制
当启用`strict
-resource
-usage=true`时：
1. cgroups内存子系统通过`memory.memsw.limit_in_bytes`设置**绝对硬上限**
2. 容器超内存立即触发OOM Killer终止进程（而非先尝试回收）
3. CPU通过`cpu.cfs_quota_us`实现强隔离
```mermaid
graph TD
A[容器进程]
--> B[cgroups memory子系统]
B
-->|申请内存| C{检查剩余配额}
C
-->|严格模式| D[拒绝超额申请]
C
-->|宽松模式| E[允许超额+延迟回收]
```
#### 四、生产环境验证命令
```bash
# 检查生效配置
grep 'strict
-resource
-usage' /etc/
hadoop/conf/
yarn-site.xml
# 监控容器资源隔离
watch
-n 1 'cat /sys/fs/cgroup/memory/
yarn/
container_*/memory.usage_in_bytes'
```
> ⚠️ **重要警示**：
> 切换严格模式后必须滚动重启NodeManager（非ResourceManager）：
> ```bash
> sudo service
hadoop-yarn-nodemanager restart
> ```
Container作为集群资源管理的基本单元，代表单个节点上的物理资源集合，如内存和CPU。由NodeManager监控并由ResourceManager调度，ApplicationMaster从Container0开始，动态请求和释放资源。
扫一扫
563
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
