22、Yarn

最新推荐文章于 2025-09-11 16:57:34 发布
原创 最新推荐文章于 2025-09-11 16:57:34 发布 · 247 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#队列 #java #hadoop #分布式 #大数据

Yarn

Yarn的基本架构和工作流程

由前面所说，Yarn由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。四个组件的作用如下

RM

  1. 处理客户端的请求
  2. 和NM通信，监控其运行状况
  3. 启动或监控ApplicationMaster
  4. 负责整合集群计算资源的分配和调度

NM

  1. 管理单个节点上的资源
  2. 负责处理来自RM上的请求
  3. 处理来自Application的请求

ApplictaionMaster

  1. 负责数据的切分
  2. 为应用程序申请资源并分配任务

Container

是抽象的一个任务在一个Container上运行，用于防止一个任务运行时资源被其他任务占用

工作机制

  1. Mr程序提交到客户端所在的节点
  2. 客户端向RM申请一个Application
  3. RM返回Application资源提交路径以及返回Application——id
  4. 提交本地资源（配置文件，Jar包，分片等）
  5. 资源提交完毕后，客户端向RM申请运行ApplicationMaster.jobrunner
  6. RM将用户的请求初始化一个Task
  7. 一个NM领取任务，并生成一个Container，包装运行的资源
  8. 下载job的资源到NM，并创建一个MRAppmaster。
  9. NM向RM申请运行一个MapTask容器
  10. MRAppmaster将分别申请MapTask和ReduceTask的运行容器
  11. NM运行阶段。

调度器

调度以Task为基本单位

FIFO调度器

FIFO包装先提交的Task先申请到资源，后提交的后申请资源，当出现一个大任务时，可能出现后面的小任务被卡住。资源利用率低！不能满足多样化Job处理的需求

容量调度器

有多条队列，每条队列都有FIFO.根据Job提交到队列的顺序为Job的task分配资源！

  1. 每个队列，用户，Job都可以配置使用资源的容量(最低限制，最高限制)
  2. 空闲队列冗余的资源，可以临时借调给其他队列使用一旦空闲队列，提交了新的job，借调的资源会被锁定，在使用完后立刻归还
  3. 权限保证。每个用户只能查看自己提交job的信息
  4. 配置灵活。集群管理员可以指定队列的管理员等！所有参数可以在线修改，及时生效！动态管理！

公平调度器

对容量调度器在调度策略上的改进！

  1. 和容量调度器类似！多个FIFO队列组成！
  2. 每个队列中，每个Job获取到资源的数量是平等的！
  3. 小的Job占优势，可以获取到自己需要的足够资源！ 大的Job占劣势，不能获取到自己需要的足够资源！但是不至于饿死，可以使用部分资源启动部分task!
Yarn证书过期
jxf_jxfcsdn的博客
01-21 1355
当您在使用 Yarn 包管理器时遇到“certificate has expired”的错误，通常意味着您的系统上的 SSL 证书已经过期或者不被信任。如果问题仍然存在，您可以尝试指定 CA 证书的路径。执行这些步骤后，通常可以解决大部分因证书过期或相关问题导致的 Yarn 使用问题。如果问题仍然存在，可能需要进一步检查具体的网络配置或联系您的网络管理员。在某些情况下，系统上的 CA（证书颁发机构）证书可能已过期或缺失。清除 Yarn 的缓存可以解决由于损坏或过时的缓存数据导致的问题。
yarn-1.22.10编译工具
05-21
yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译...
命令查看yarn当前任务列表
热门推荐
hyj
06-24 1万+
命令查看yarn当前任务列表
Yarn调优
Rachel的博客
10-15 1289
1.Yarn常用命令: [rachel@bigdata-senior01 bin]$ ./yarn Usage: yarn [--config confdir] COMMAND where COMMAND is one of: resourcemanager run the ResourceManager nodemanager run a nodemana...
yarn的调度器以及常用命令
weixin_43975538的博客
07-14 262
1.调度器 在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，FairScheduler。 1.1 FIFO先进先出，一个的简单调度器，适合低负载集群。（适合任务数量不多的情况下使用）。示例：1job先提交，会运行1job，过一会，2job提交了，需要等1job运行完才可以运行2job 1.2 Capacity调度器，给不同队列（即用户或用户组...
从 command not found 到 1.22.22：我的 Yarn 安装奇遇记
最新发布
小丁的博客
09-11 900
本文分享了作者解决 yarn: command not found 问题的完整过程。通过排查发现 Node.js 不会自动安装 Yarn，但会附带 npm。作者使用 npm install --global yarn 成功安装了 Yarn，并通过 yarn -v 验证了安装结果。文章通过表格、流程图、时序图等形式清晰展示了问题解决路径，并解释了 Node.js、npm 和 Yarn 的关系。最终得出关键结论：Node.js 自带 npm，但 Yarn 需要单独安装，使用全局安装参数 --global 才能让
ubuntu22.04.4安装node，npm，yarn
m0_51324570的博客
07-21 1106
这条命令的意思是使用sudo权限来强制安装/var/cache/apt/archives/目录下的所有.deb文件。–force-overwrite是一个选项，它表示强制覆盖已经存在的文件，即使它们属于其他软件包。/var/cache/apt/archives/是一个目录，它存放了使用apt命令下载的软件包。dpkg是一个工具，它可以用来安装、卸载和管理Debian软件包（.deb文件）。*.deb是一个通配符，它表示匹配任何以.deb结尾的文件。-i是一个选项，它表示安装指定的软件包。
yarn的安装和使用
m0_65696193的博客
04-14 1904
在你安装A的时候需要安装依赖C和D，很多依赖不会指定版本号，默认会安装最新的版本，这样就会出现问题：比如今天安装模块的时候C和D是某一个版本，而当以后C、D更新的时候，再次安装模块就会安装C和D的最新版本，如果新的版本无法兼容你的项目，你的程序可能就会出BUG，甚至无法运行。这就是npm的弊端，而yarn为了解决这个问题推出了yarn.lock的机制，这是作者项目中的yarn.lock文件。比如说你的项目模块依赖是图中描述的，@1.2.1代表这个模块的版本。
vue3环境搭建、nodejs22.x安装、yarn 1全局安装、npm切换yarn 1、yarn 1 切换npm
没事别学JAVA
04-15 819
vue3环境搭建，安装了nodejs22.x以及相关的环境变量配置，配置了npm加速、全局安装了yarn 1包管理器，介绍了npm 切换 yarn1 和 yarn 1 切换 npm
yarn包的更新
weixin_48553220的博客
01-08 1150
参考地址：https://yarnpkg.com/cli/set/version。，设置完毕，yarn -v 即为3.8.7版本。当前用v1升到v3，直接用命令。
yarn 安装报错
m0_70320027的博客
09-11 721
yarn 安装报错
yarn-1.22.4.msi和yarn-1.22.5.msi
12-13
Yarn是JavaScript社区广泛使用的包管理工具，它旨在提高npm（Node.js的包管理器）的性能、可预测性和安全性。这两个文件，"yarn-1.22.4.msi" 和 "yarn-1.22.5.msi"，是Yarn的特定版本安装程序，适用于Windows操作...
yarn-1.22.0.zip
02-26
**Yarn 1.22.0：高效且可靠的JavaScript包管理器** Yarn是Facebook在2016年推出的JavaScript包管理工具，它旨在解决npm（Node.js的默认包管理器）在处理依赖关系时的一些痛点，如不一致的安装结果、缓慢的安装速度...
精选资源
yarn1.22.4与1.22.5最新安装包windows
09-02
Yarn是Facebook开发的一款流行的JavaScript包管理工具，它在npm（Node Package Manager）的基础上提供了更快、更可靠和更安全的包管理和依赖关系解决方式。在本文中，我们将深入探讨Yarn 1.22.4和1.22.5这两个版本在...
jdk1.8+yarn-1.22.10.tar.gz
01-03
【标题】"JDK1.8与YARN 1.22.10的整合" 在分布式计算领域，Java Development Kit（JDK）是开发和运行Java应用程序的基础，而Yet Another Resource Negotiator（YARN）是Apache Hadoop生态系统中的资源管理器。本...
Hadoop核心架构简述
resilienter的博客
12-09 868
Hadoop核心架构简述 Hadoop核心架构简述 HDFS Namenode(1个) Datanode（n个） Yarn ResourceManager(1个) NodeManager（n个） MapReduce Map阶段 Reduce阶段 HDFS HDFS负责大数据文件的读写！ HDFS的运行需要由若干不同角色的进程一起启动后组成！ HDFS由namenode和...
HDFS三兄弟（NN,DN,2NN）
resilienter的博客
12-09 774
HDFS三兄弟（NN,DN,2NN） HDFS三兄弟（NN,DN,2NN） NN NN的持久化 NN的启动 查看edits和fsimage文件 NN和DN进行通信 NN的多目录配置 2NN 2NN的辅助作用 使用2NN对NN进行恢复 DN DN的启动 服役新节点 白名单配置 黑名单配置 DN的多目录机制 HDFS2.X新特性 集群复制 归档 三兄弟叫起来比较顺口，...
HDFS
resilienter的博客
12-09 450
HDFS HDFS 什么是HDFS HDFS文件的块 为什么是128m HDFS的Shell操作 HDFS的java程序进行操作 HDFS初始操作和结束操作 HDFS文件上传和下载 通过流进行可操作的文件上传和下载 HDFS文件信息的查看 HDFS块信息的处理 练习，HDFS的分块下载 什么是HDFS 它是一个分布式文件系统，适合一次写入多次读出。 不支持文件的随机读写，支持...
8、FileInputFormat
resilienter的博客
11-19 335
InputFormat InputFormat FileInputFormat切片分析 FileInputFormat默认切片策略 TextInputFormat KeyValueInputFormat NLineInputFormat CombineTextInputFormat 自定义类继承FileInputFormat FileInputFormat切片分析 FileInpu...
yarn create v1.22.22yarn create @vitejs/app demo <--- Last few GCs ---> [12240:0000020C5CE98000] 122509 ms: Scavenge (interleaved) 2044.5 (2082.7) -> 2043.9 (2087.2) MB, pooled: 0 MB, 7.42 / 0.00 ms (average mu = 0.167, current mu = 0.133) task; [12240:0000020C5CE98000] 124295 ms: Mark-Compact (reduce) 2043.9 (2087.2) -> 2043.9 (2080.7) MB, pooled: 0 MB, 1612.89 / 0.00 ms (+ 2.6 ms in 0 steps since start of marking, biggest step 0.0 ms, walltime since start of marking 1622 ms) (average mu = 0. <--- JS stacktrace ---> FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory ----- Native stack trace ----- 1: 00007FF7E652542D node::SetCppgcReference+17693 2: 00007FF7E6488248 SSL_get_quiet_shutdown+102712 3: 00007FF7E700ED41 v8::Isolate::ReportExternalAllocationLimitReached+65 4: 00007FF7E6FFB9C6 v8::Function::Experimental_IsNopFunction+2870 5: 00007FF7E6E48B10 v8::internal::StrongRootAllocatorBase::StrongRootAllocatorBase+31456 6: 00007FF7E6E4280A v8::internal::StrongRootAllocatorBase::StrongRootAllocatorBase+6106 7: 00007FF7E6E3DEA5 v8::internal::ThreadIsolation::JitPageReference::Size+188453 8: 00007FF7E67C1D0D BIO_ssl_shutdown+189
07-10
在使用 `yarn create @vitejs/app` 创建 Vite 项目时，如果遇到 **JavaScript heap out of memory** 错误，通常是因为 Node.js 的默认内存限制不足以支持大型项目的初始化或依赖安装过程。以下是几种可行的解决方案： ### 1. 扩展 Node.js 内存限制 可以通过手动设置 Node.js 的最大堆内存来解决该问题。具体方法是在执行命令时添加 `--max-old-space-size` 参数来扩展内存上限。 例如： ```bash node --max-old-space-size=4096 node_modules/.bin/yarn create @vitejs/app my-app ``` 此命令将 Node.js 的最大内存限制提升至 4GB（4096MB），可以根据系统资源进一步调整该值[^1]。 ### 2. 使用 `increase-memory-limit` 工具 可以安装并运行 `increase-memory-limit` 工具自动修改全局 npm 配置中的内存限制： ```bash npm install -g increase-memory-limit increase-memory-limit ``` 如果运行过程中提示 `node --max-old-space-size=...` 不是内部或外部命令，则可能需要检查 Node.js 是否已正确安装并添加到系统环境变量中。 ### 3. 删除 `.npmrc` 文件 某些情况下，`.npmrc` 文件中的配置可能会导致内存管理异常。尝试删除用户目录下的 `.npmrc` 文件（路径为 `C:\Users\{用户名}\.npmrc`），然后重新运行创建命令[^1]。 ### 4. 使用 npx 直接创建项目 如果 yarn 安装或执行存在问题，可以考虑直接使用 `npx` 来创建 Vite 项目： ```bash npx create-vite@latest my-app --template vue ``` 这将绕过 yarn 的潜在限制，并利用 npm 的缓存机制进行更稳定的依赖加载[^1]。 ### 5. 升级 Node.js 版本 确保使用的 Node.js 版本较新，因为旧版本可能存在内存管理效率较低的问题。建议升级至 **Node.js 18.x 或更高版本**，以获得更好的性能和更高的默认内存限制。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值