十六：The YARN Service Registry

最新推荐文章于 2025-08-13 22:04:55 发布

转载最新推荐文章于 2025-08-13 22:04:55 发布 · 130 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/skyrim/p/7456002.html

文章标签：

#大数据

本文介绍了YARN中的服务注册机制，重点讲述了如何将长期运行的应用程序注册为服务，并探讨了这种机制对于像HBase这样的服务的重要性。文章指出，YARN支持两种类型的应用程序：短期任务和长期运行的服务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

yarn 服务注册功能是让长期运行的程序注册为服务一直运行。

yarn中运行的程序分为两类，一类是短程序，一类一直运行的长程序.第二种也称为服务。yarn服务注册就是让应用程序能把自己注册为服务，如hbase

本节是比较高级，以后再研究~

来自为知笔记(Wiz)

转载于:https://www.cnblogs.com/skyrim/p/7456002.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30735391

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Yarn】Yarn NodeManager注册和心跳

九师兄

04-06

593

【Yarn】Yarn StateMechine有限状态机是与通信(注册和心跳)的唯一通道。当启动时，该组件负责向注册，并汇报节点上总的可用资源( 该值在运行过程中不再汇报);之后，该组件周期性与通信，汇报各个Container的状态更新，包括节点上正运行的Container、已完成的Container等信息，同时会为之返回待清理Container列表、待清理应用程序列表、诊断信息、各种Token等信息。

深度学习框架TensorFlowEnterprise实践:从零开始搭建企业级TensorFlow集群环境

AI天才研究院

07-31

1917

在自然语言处理、图像识别、自动驾驶、视频分析等领域，深度学习框架是现代机器学习的一个重要组成部分。近年来，大量研究人员将其应用到各种各样的计算机视觉、自然语言处理、自动驾驶、医疗健康等领域中。为了能够实现这些目标，深度学习框架对集群环境的支持已经成为一个亟待解决的问题。Tensorflow在国内的应用相对较少，国内很多公司并没有那么多资源进行深度学习的部署。

参与评论您还未登录，请先登录后发表或查看评论

Yarn的资源申请（粗粒度和细粒度）

qq_34341930的博客

04-04

1048

粗粒度资源申请(Spark）在Application执行之前，将所有的资源申请完毕，当资源申请成功后，才会进行任务的调度，当所有的task执行完成后，才会释放这部分资源。优点：在Application执行之前，所有的资源都申请完毕，每一个task直接使用资源就可以了，不需要task在执行前自己去申请资源，task启动就快了，task执行快了，stage执行就快了，job就快了，applic...

YARN学习总结-第十九节-YARN-Service

qq_20995587的博客

08-31

2040

YARN-Service YARN-Service提供一流的支持和API用户托管长期运行的服务。简而言之，它充当容器编排平台管理容器化服务。同时支持Docker容器和传统在YARN之上基于进程的容器。这个框架的功能包括执行配置解决方案和挂载，生命周期管理，例如停止、启动、删除服务，伸缩服务组件，滚动更新，监控服务健康。 YARN-Service框架主要包括如下组件： 1.一个核心框架（A...

YARN学习总结-第二十节-YARN-Service-Registry

qq_20995587的博客

09-01

1644

YARN-Service-Registry 基于YARN，可以部署批处理作业或者进行查询，也可以运行长期运行服务，例如tomcat集群，HBase集群，这些服务实例需要被客户端发现，传统做法是通过DNS暴露IP和Port或者写入文件，但是这种机制，无法在服务被创建前被发现。 YARN支持基本的注册，允许AM注册一个web url和一个IPC地址。但是不满足我们的需求，它无法注册其他的端点，例如...

Hadoop源码解析之YARN的服务库与事件库

liushahe2012的博客

01-13

933

Hadoop源码解析之YARN的服务库与事件库参考： http://www.cnblogs.com/smartloli/p/4669968.html 1. YARN服务库对于生命周期较长的对象，YARN使用基于服务的对象模型进行管理，主要特点如下： 1. 用于被服务化的对象包含4个状态，他们分别是：被创建、已初始化、已启动和已停止。 2. 任何服务状态变化都可以触

YARN Service 示例

houzhizhen的专栏

08-24

359

Start Zookeeper Enable Hadoop Registry (Enabled by Default) # Enable api-service vim yarn-site.xml <property> <description>Enable services rest api on Resourcemanager.</description> <name> yarn.webapp.api-service.

HADOOP之YARN学习(一)-概述与命令

ximen_zhou的博客

05-26

495

Apache Hadoop YARN 概述 YRAN的基本思路是将资源管理和作业调度/监视的功能拆分为单独的守护程序。这个想法是拥有一个全局ResourceManager（RM）和每个应用程序ApplicationMaster（AM）。应用程序可以是单个作业，也可以是作业的DAG 。 ResourceManager和NodeManager构成数据计算框架。ResourceManager是在系统中所有应用程序之间仲裁资源的最终权限。NodeManager是每台机器的框架代理，负责容器，监视其资源使用情况（cp

CI/CD的node.js编译报错npm ERR! network request to https://registry.npmjs.org/

jiang0615csdn的博客

07-18

1449

CI/CD流水线的node.js编译报错npm ERR! network request to https://registry.npmjs.org/@vue%2fcli-plugin-router

Yarn 命令安装包时yarn add/install/build... 报“certificate has expired”

Aotman_的博客

01-26

1729

我们可以将 'strict-ssl' 设置为 false，从而跳过 https的验证。看了yarn的官网，估计是最近yarn官方更新引起的问题，cnpm如果出现这样的问题，大概率原因相同；2、使用命令yarn config set strict-ssl false将其改为 false。如果项目是通过Jenkins部署，可以在服务器上修改配置，用上面同样的方法，就可以解决了！3、再次执行yarn命令安装插件，就不会报错了，问题完美解决~~”了，非常诧异，前几天还是好的，突然就不行了。

开发知识点-NodeJs-npm/Pnpm/Yarn包管理器

aming小老弟

11-08

1585

Node.js 是一个基于 Chrome V8 引擎的开源免费跨平台的 JavaScript 运行环境。由于 Node.js 进程尝试加载 providers.dll 时没有指定 DLL 的绝对路径。Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型，使其轻量又高效。攻击者可以在当前工作目录写入恶意 DLL 文件进行 DLL劫持攻击。Windows 会按照特定策略进行搜索以找到所需的 DLL 文件。Node.js 组件存在 DLL 劫持漏洞。快速的，节省磁盘空间的包管理工具。

Hadoop HDFS： the directory item limit is exceed: limit=1048576问题的解决

weixin_34279184的博客

11-17

1845

问题描述：1.文件无法写入hadoop hdfs文件系统；2.hadoop namenode日志记录thedirectoryitemlimitisexceed:limit=10485763.hadoop单个目录下文件超1048576个，默认limit限制数为1048576，所以要调大limit限制数解决办法：hdfs-site.xml配置文件添加配置参数 &lt...

FileLink：为企业跨网文件传输筑牢安全与效率基石

qq_73196442的博客

08-12

718

在企业数据往来日益频繁的今天，跨网文件传输的安全性和高效性是企业顺畅运营的关键。传统传输方式在安全防护、系统融合及成本控制上的短板愈发明显，而 FileLink 凭借在这些方面的突出表现，成为企业跨网文件传输的得力助手。

电子电气架构 --- 软件项目文档管理

最新发布

Soly_kun的博客

08-13

摘要本文从汽车电子工程师的视角，探讨了软件项目文档管理的系统化方法。作者首先引入图书馆学的"五定律"作为文档管理的理论基础，强调文件应以使用为导向、满足多元需求、实现精准对接、提升效率并保持动态发展。随后提出了两种实践方法：过程法（按时间顺序和业务流程分类）和要素法（按组织结构和功能模块分类）。文中列举了项目管理、工程开发、软件迭代等具体应用场景，展示了如何通过科学的文档管理提升工作效率。文章融合了理论思考与实践经验，为技术文档管理提供了系统化的解决方案。

Flink Redis维表：Broadcast Join与Lookup Join对比及SQL示例

spark_dev的博客

08-12

580

本文对比了Flink中Redis维表关联的两种方案：Broadcast Join和Lookup Join。Broadcast Join适合小维表（<1GB），通过广播到所有任务实现本地关联，延迟低但内存消耗高；Lookup Join则适合大维表，通过实时查询Redis获取最新数据，内存占用低但延迟较高。文章详细分析了两者的原理、适用场景和性能差异，并提供了两种方案的SQL实现示例。最后建议根据维表大小、更新频率和资源情况选择合适方案，或采用混合模式平衡性能与资源。

大数据与财务管理：未来就业的黄金赛道

lilibutangping的博客

08-09

737

大数据和财务管理听起来是两个不同的领域，但它们的结合正在创造无数高薪机会。对于大一新生来说，早早了解这些方向并考取证书，就能在毕业时快人一步！

人工智能与金融：金融行业的革新

一套方法论打通全栈闭环，从 0 到 1 教你驾驭需求、设计、开发、项目、课题、论文和软著，速成全栈王者！

08-12

788

人工智能正在重塑金融的形态，但技术终究是服务于经济发展的工具。从小微企业通过 AI 获得第一笔贷款，到普通家庭借助智能投顾实现财富增值，从跨境支付效率的革命性提升，到金融风险的精准防控，AI 正在让金融从 “精英专属” 走向 “全民共享”，从 “复杂晦涩” 走向 “简单透明”。未来的金融行业，将是 “技术的智能” 与 “金融的本质” 的完美融合：AI 解决效率、成本、风险等技术问题，金融人则坚守 “服务实体经济” 的初心。

大模型微调【1】之入门

缘友一世的博客

08-13

265

大模型微调【1】之入门

kafka架构原理快速入门

巴里巴气的博客

08-09

591

通过分析架构的运行机制对Kafka的主题、主题分区、副本做了详细的解释,并对消息持久化进行了简单的分析

npm warn ERESOLVE overriding peer dependency npm warn While resolving: @vue/eslint-config-standard@6.1.0 npm warn Found: eslint-plugin-vue@8.7.1 npm warn node_modules/eslint-plugin-vue npm warn dev eslint-plugin-vue@"^8.0.3" from the root project npm warn npm warn Could not resolve dependency: npm warn peer eslint-plugin-vue@"^7.0.0" from @vue/eslint-config-standard@6.1.0 npm warn node_modules/@vue/eslint-config-standard npm warn dev @vue/eslint-config-standard@"^6.1.0" from the root project npm warn ERESOLVE overriding peer dependency npm warn While resolving: @vue/eslint-config-standard@6.1.0 npm warn Found: eslint-plugin-vue@undefined npm warn node_modules/eslint-plugin-vue npm warn dev eslint-plugin-vue@"^8.0.3" from the root project npm warn npm warn Could not resolve dependency: npm warn peer eslint-plugin-vue@"^7.0.0" from @vue/eslint-config-standard@6.1.0 npm warn node_modules/@vue/eslint-config-standard npm warn dev @vue/eslint-config-standard@"^6.1.0" from the root project npm error code CERT_HAS_EXPIRED npm error errno CERT_HAS_EXPIRED npm error request to https://registry.npm.taobao.org/eslint-plugin-vue failed, reason: certificate has expired npm error A complete log of this run can be found in: C:\Users\86187\AppData\Local\npm-cache\_logs\2025-04-02T09_20_10_366Z-debug-0.log

04-03

yarn config set registry https://registry.npmmirror.com yarn install ``` 错误日志分析建议检查`C:\Users\...\_logs\2025-04-02T09_20_10_366Z-debug-0.log`： 1. 搜索`ERR!`快速定位错误点 2. 检查`npm ...