Hadoop/Yarn/MapReduce内存分配（配置）方案

最新推荐文章于 2021-11-23 09:46:39 发布
原创 最新推荐文章于 2021-11-23 09:46:39 发布 · 3.2w 阅读 · 9 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
文章标签：

#Hadoop #Yarn #MapReduce #内存分配

本书由博主精心创作，详细介绍了大数据平台的架构与原型实现，特别关注数据中台建设实战。通过Horntonworks推荐配置，提供Hadoop集群上各组件的内存分配方案，旨在帮助读者构建高效的数据处理系统。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

推荐：博主历时三年倾注大量心血创作的《大数据平台架构与原型实现：数据中台建设实战》一书已由知名IT图书品牌电子工业出版社博文视点出版发行，真诚推荐给每一位读者！点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，扫码进入京东手机购书页面！

 

以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。

 

 

Configuration FileConfiguration SettingValue Calculation       8G VM (4G For MR)   
yarn-site.xmlyarn.nodemanager.resource.memory-mb= containers * RAM-per-container4096
yarn-site.xmlyarn.scheduler.minimum-allocation-mb= RAM-per-container1024
yarn-site.xmlyarn.scheduler.maximum-allocation-mb= containers * RAM-per-container4096
mapred-site.xmlmapreduce.map.memory.mb= RAM-per-container1024
mapred-site.xml        mapreduce.reduce.memory.mb= 2 * RAM-per-container2048
mapred-site.xmlmapreduce.map.java.opts= 0.8 * RAM-per-container819
mapred-site.xmlmapreduce.reduce.java.opts= 0.8 * 2 * RAM-per-container1638
yarn-site.xml (check)yarn.app.mapreduce.am.resource.mb= 2 * RAM-per-container2048
yarn-site.xml (check)yarn.app.mapreduce.am.command-opts= 0.8 * 2 * RAM-per-container1638
tez-site.xml  tez.am.resource.memory.mb  = RAM-per-container1024
tez-site.xml  tez.am.java.opts  = 0.8 * RAM-per-container819
tez-site.xml  hive.tez.container.size  = RAM-per-container1024
tez-site.xml  hive.tez.java.opts  = 0.8 * RAM-per-container819

 

 

 

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput报错
qq_42254537的博客
08-03 5654
执行hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput报错 报错信息 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml contai
hadoop中每个节点map和reduce个数的设置调优
zcc_0015的专栏
08-09 1136
map red.tasktracker.map.tasks.maximum 这个是一个task tracker中可同时执行的map的最大个数，默认值为2，看《pro hadoop》：it is common to set this value to the effective number of CPUs on the node 把ob分割成map和reduce,合理地选择Job中 Tasks数
YARN和MapReduce内存分配计算公式
TomAndersen的博客
06-08 2852
前言 hadoop：2.7.7 本文内容均来自：HDP Command Line Installation 2.6.5 中第1.10节 HDP（Hortonworks Data Platform）是最常见的Hadoop的第三方发行版之一，类似的Hadoop发行版还有CDH、MapR等 计算YARN和MapReduce的内存需求 在Hadoop集群中，YARN管理着集群中的每个节点上的可用资源，并为运行在集群中的应用程序（如MapReduce）提供需要的资源，其中Container是YARN中最小的资源
YARN 和 MapReduce的内存分配公式
linxiao84的专栏
01-12 355
这个章节描述在指定的硬件节点上，如何配置YARN 和 MapReduce的内存分配设置。 YARN 考虑到了集群上每个机器的可用计算资源，在可用的资源上，YARN 负责处理运行在集群中应用（如MapReduce）的资源请求。YARN 通过分配的Containers为每个应用提供计算资源，在YARN中，一个 Container是基本的计算资源(processing capacity)，并且它...
Hadoop-Mapreduce参数调优
qichangjian的博客
02-26 886
1. 相关的资源参数 mapreduce.map.memory.mb： 一个maptask可以使用的资源上限，默认是1G，如果超过设置的值，会被强制杀死 mapreduce.reduce.memory.mb：一个 Reduce Task 可使用的资源上限默认是1G，如果超过设置的值，会被强制杀死 mapreduce.map.cpu.vcores：每个maptask最多的CPU core 默认是1个...
hadoop---MR(mapreduce)--内存设置
11-23 1882
非java程序(c++、shell程序)在MR内存设置上，和java程序有很大差异，如果按照java程序的方式设置，很容易采坑，具体如下： MR中各个内存情况 因为在yarn container这种模式下，map/reduce task是运行在Container之中的，所以上面提到的mapreduce.map(reduce).memory.mb大小都大于mapreduce.map(reduce).java.opts值的大小。mapreduce.{map|reduce}.java.opts能够通过Xm
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化
05-29
优化YARN和MapReduce的内存分配时，需要考虑以下几点： - 确保配置的内存大小与实际硬件匹配，避免资源浪费。 - 根据工作负载动态调整资源配置，例如，处理大数据量的任务可能需要更多的内存和CPU。 - 监控集群性能...
Hadoop集群中YARN调度MapReduce内存与CPU分配计算及优化
最新发布
06-30
在Hadoop集群中，YARN作为资源管理器，负责调度MapReduce任务的内存和CPU资源。为了优化集群性能，合理配置这些参数至关重要。本文将介绍YARN的内存和CPU配置方法，以及一些优化实践。 YARN通过Container分配资源，...
hadoop/yarn 命令提交MapReduce 作业(wc.txt)wordcount到Yarn
huonan_123的博客
10-25 2137
使用hadoop jar 或者 yarn jar 提交 wordcount 作业到yarn上
hadoop yarn的内存和cpu参数配置
panhongan的专栏
01-06 1509
【导读】 还在整理中
hadoop集群部署，内存，存储配置
风起于青萍之末，折秀于林
09-21 1843
翻译自：http://blog.octo.com/en/hadoop-in-my-it-department-how-to-plan-a-cluster/ 和http://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/ 一 推荐配置 每100万块
linux集群搭建需要多少内存,Hadoop的内存配置
weixin_30077373的博客
04-30 519
Hadoop的内存配置有两种方法：利用手动安装hadoop的帮助脚本；手动计算yarn和mapreduce内存大小进行配置.此处只记录脚本计算方法:用wget命令从hortonworks上下载脚本python hdp-configuration-utils.py wget http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_man...
Hadoop2.7.7 API: mapred-site.xml 解析
张伯毅的专栏
08-13 3177
name 描述 value 备注 mapreduce.jobtracker.jobhistory.location 如果作业跟踪器是静态的，则历史文件存储在这个众所周知的地方。如果此处未设置任何值，则默认情况下，它位于$ {hadoop.log.dir} / history的本地文件系统中。 　 　 mapreduce.jobtracker.jobhis...
详解 YARN的内存和CPU配置
qq_43688472的博客
06-18 5996
一：简单介绍 Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。 在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根...
Yarn 内存分配管理机制及相关参数配置
自渡
06-16 629
https://blog.youkuaiyun.com/suifeng3051/article/details/45477773 理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概...
mapreduce内存分配
热门推荐
AI蜗牛之家
07-05 1万+
稍微有点mapreduce使用经验的同学肯定对OOM不陌生，对的，我目前在mapReduce里面遇到的最多的报错也是内存分配出错，所以看到好多hadoop执行脚本里面有好多关于内存的参数，虽然是知道和内存分配有关系，但是我依然不太清楚具体的原理，从网上查阅相关资料，看到博主整理的，甚是欣慰，稍作整理如下： 关于mapreduce程序运行在yarn上时内存的分配一直是一个让我蒙圈的事情，单独查任何...
<name>yarn.application.classpath</name> <value>/opt/hadoop-3.4.0/etc/hadoop:/opt/hadoop-3.4.0/share/hadoop/common/lib/*:/opt/hadoop-3.4.0/share/hadoop/common/*:/opt/hadoop-3.4.0/share/hadoop/hdfs:/opt/hadoop-3.4.0/share/hadoop/hdfs/lib/*:/opt/hadoop-3.4.0/share/hadoop/hdfs/*:/opt/hadoop-3.4.0/share/hadoop/mapreduce/*:/opt/hadoop-3.4.0/share/hadoop/yarn:/opt/hadoop-3.4.0/share/hadoop/yarn/lib/*:/opt/hadoop-3.4.0/share/hadoop/yarn/*
03-16
### Hadoop YARN 中 `yarn.application.classpath` 配置项的作用 在 Hadoop YARN 中，`yarn.application.classpath` 是一个重要的配置参数，用于定义应用程序可以访问的类路径（classpath）。此配置项的主要作用是确保 YARN 上运行的应用程序能够找到所需的库文件和依赖项。具体来说： - **作用**: 此配置项指定了一组默认的类路径，这些路径会被添加到所有提交给 YARN 的应用程序的类加载器中[^1]。这使得用户无需手动提供所有的依赖库即可正常运行作业。 - **值的组成**: 类路径通常由多个目录或 JAR 文件路径组成，通过逗号分隔。常见的路径包括但不限于以下内容： - `$HADOOP_CONF_DIR`: 存储 Hadoop 和 YARN 配置文件的目录。 - `$HADOOP_COMMON_HOME/share/hadoop/common/*`: 包含通用模块的 JAR 文件。 - `$HADOOP_HDFS_HOME/share/hadoop/hdfs/*`: 包含 HDFS 相关模块的 JAR 文件。 - `$HADOOP_YARN_HOME/share/hadoop/yarn/*`: 包含 YARN 相关模块的 JAR 文件。 - `$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*`: 包含 MapReduce 相关模块的 JAR 文件。 以下是典型的 `yarn.application.classpath` 值示例： ```properties $HADOOP_CONF_DIR, $HADOOP_COMMON_HOME/share/hadoop/common/*, $HADOOP_COMMON_HOME/share/hadoop/common/lib/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/*, $HADOOP_YARN_HOME/share/hadoop/yarn/*, $HADOOP_YARN_HOME/share/hadoop/yarn/lib/* ``` 上述路径中的通配符 (`*`) 表示该目录下的所有 JAR 文件都会被包含在类路径中[^4]。 --- ### 如何验证配置是否生效？ 可以通过以下方式确认 `yarn.application.classpath` 是否正确设置并生效： 1. 使用命令 `yarn classpath` 查看当前有效的类路径列表。 2. 提交一个简单的测试任务（如 WordCount），观察日志中是否有找不到依赖的错误提示。 如果发现某些必要的库未被加载，则可能需要调整 `yarn-site.xml` 文件中的 `yarn.application.classpath` 参数，并重新启动 YARN 服务以使更改生效。 --- ### 示例代码：修改 `yarn-site.xml` 并重启 YARN 编辑 `yarn-site.xml` 文件，添加或更新如下属性： ```xml <property> <name>yarn.application.classpath</name> <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*</value> </property> ``` 保存后执行以下操作以应用新配置： ```bash # 刷新 YARN 配置 sudo systemctl restart hadoop-yarn-resourcemanager.service sudo systemctl restart hadoop-yarn-nodemanager.service ``` 或者直接使用脚本停止再启动 YARN： ```bash stop-yarn.sh start-yarn.sh ``` --- ### 注意事项 - 如果集群中有自定义开发的任务或第三方工具集成需求，需额外将相关依赖加入到 `yarn.application.classpath` 中[^3]。 - 当前版本为 Hadoop 3.4.0，不同版本间的默认类路径可能会有所差异，请根据实际环境进行适配。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值