Hadoop之mapreduce参数大全-7

最新推荐文章于 2024-07-01 10:16:36 发布

原创

最新推荐文章于 2024-07-01 10:16:36 发布 · 1.5k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #mapreduce #大数据

151.设置客户端与 AM 之间的IPC（Inter-Process Communication）连接在发生超时时的最大重试次数

yarn.app.mapreduce.client-am.ipc.max-retries-on-timeouts 是 Apache Hadoop YARN 中 MapReduce Application Master（AM）的一个配置属性。该属性用于设置客户端与 AM 之间的IPC（Inter-Process Communication）连接在发生超时时的最大重试次数。

以下是对该配置属性的解释：

属性名称： yarn.app.mapreduce.client-am.ipc.max-retries-on-timeouts
描述： 该属性指定了客户端与 MapReduce Application Master 之间的IPC连接在发生超时时的最大重试次数。IPC连接用于客户端与 AM 进行通信，例如提交任务、获取任务状态等。
默认值： 该属性通常有一个默认值，如果未显式设置，则使用默认值。
示例： 如果你希望设置客户端与 AM 之间的IPC连接在发生超时时的最大重试次数为 2 次，可以将该属性设置如下：
```
<property>
  <name>yarn.app.mapreduce.client-am.ipc.max-retries-on-timeouts</name>
  <value>2</value>
</property>
```
上述配置将在发生超时时的最大重试次数设置为 2。

这个配置属性通常是在 mapred-site.xml 文件中配置的，该文件位于 Hadoop 的配置目录中。调整这个属性可能对客户端与 AM 之间的通信可靠性产生影响。确保根据你的需求和网络条件来调整这个值。更改这个属性可能需要重启与 MapReduce 和 YARN 相关的服务。

152.设置 MapReduce 客户端与 ResourceManager 之间的 IPC（Inter-Process Communication）连接的最大重试次数

yarn.app.mapreduce.client.max-retries 是 Apache Hadoop YARN 中 MapReduce 客户端的一个配置属性。该属性用于设置 MapReduce 客户端与 ResourceManager 之间的 IPC（Inter-Process Communication）连接的最大重试次数。

以下是对该配置属性的解释：

属性名称： yarn.app.mapreduce.client.max-retries
描述： 该属性指定了 MapReduce 客户端与 ResourceManager 之间的 IPC 连接的最大重试次数。IPC 连接用于客户端提交 MapReduce 任务、获取任务状态等。
默认值： 该属性通常有一个默认值，如果未显式设置，则使用默认值。
示例： 如果你希望设置客户端与 ResourceManager 之间的 IPC 连接的最大重试次数为 3 次，可以将该属性设置如下：
```
<property>
  <name>yarn.app.mapreduce.client.max-retries</name>
  <value>3</value>
</property>
```
上述配置将最大重试次数设置为 3。

这个配置属性通常是在 mapred-site.xml 文件中配置的，该文件位于 Hadoop 的配置目录中。调整这个属性可能对客户端与 ResourceManager 之间的通信可靠性产生影响。确保根据你的需求和网络条件来调整这个值。更改这个属性可能需要重启与 MapReduce 和 YARN 相关的服务。

153.设置 MapReduce 任务的 Application Master 请求的资源量，以指定 Application Master 的内存资源大小

yarn.app.mapreduce.am.resource.mb 是 Apache Hadoop YARN 中 MapReduce Application Master（AM）的一个配置属性。该属性用于设置 MapReduce 任务的 Application Master 请求的资源量，以指定 Application Master 的内存资源大小。

以下是对该配置属性的解释：

属性名称： yarn.app.mapreduce.am.resource.mb
描述： 该属性指定了 MapReduce Application Master 请求的内存资源量，单位为兆字节（MB）。这是 AM 启动时向 YARN ResourceManager 请求的资源大小。
默认值： 该属性通常有一个默认值，如果未显式设置，则使用默认值。
示例： 如果你希望设置 MapReduce Application Master 请求的内存资源为 1024 MB，可以将该属性设置如下：
```
<property>
  <name>yarn.app.mapreduce.am.resource.mb</name>
  <value>1024</value>
</property>
```
上述配置将设置 AM 请求的内存资源为 1024 MB。

这个配置属性通常是在 mapred-site.xml 文件中配置的，该文件位于 Hadoop 的配置目录中。调整这个属性可能会影响 MapReduce 任务的性能和资源分配。确保根据你的任务需求和集群资源来调整这个值。更改这个属性可能需要重启与 MapReduce 和 YARN 相关的服务。

154.设置 MapReduce 任务的 Application Master 请求的虚拟内核数量，以指定 Application Master 的 CPU 资源需求

yarn.app.mapreduce.am.resource.cpu-vcores 是 Apache Hadoop YARN 中 MapReduce Application Master（AM）的一个配置属性。该属性用于设置 MapReduce 任务的 Application Master 请求的虚拟内核数量，以指定 Application Master 的 CPU 资源需求。

以下是对该配置属性的解释：

属性名称： yarn.app.mapreduce.am.resource.cpu-vcores
描述： 该属性指定了 MapReduce Application Master 请求的虚拟内核数量。这是 AM 启动时向 YARN ResourceManager 请求的 CPU 资源数量。
默认值： 该属性通常有一个默认值，如果未显式设置，则使用默认值。
示例： 如果你希望设置 MapReduce Application Master 请求的虚拟内核数量为 2，可以将该属性设置如下：
```
<property>
  <name>yarn.app.mapreduce.am.resource.cpu-vcores</name>
  <value>2</value>
</property>
```
上述配置将设置 AM 请求的虚拟内核数量为 2。

155.设置在硬杀（hard kill）操作中，AM 最大的超时时间

yarn.app.mapreduce.am.hard-kill-timeout-ms 是 Apache Hadoop YARN 中 MapReduce Application Master（AM）的配置属性之一。该属性用于设置在硬杀（hard kill）操作中，AM 最大的超时时间。

以下是对该配置属性的解释：

属性名称： yarn.app.mapreduce.am.hard-kill-timeout-ms
描述： 该属性指定了在进行硬杀操作时，AM 允许的最大超时时间。硬杀是指强制终止 AM 进程的操作。
默认值： 该属性通常有一个默认值，如果未显式设置，则使用默认值。
示例： 如果你希望设置硬杀操作的最大超时时间为 60000 毫秒（即 60 秒），可以将该属性设置如下：
```
<property>
  <name>yarn.app.mapreduce.am.hard-kill-timeout-ms</name>
  <value>60000</value>
</property>
```
上述配置将硬杀操作的最大超时时间设置为 60000 毫秒。