YARN的App Timeline Server无法启动

最新推荐文章于 2025-01-09 15:09:21 发布
最新推荐文章于 2025-01-09 15:09:21 发布
阅读量2.7k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： YARN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZhouyuanLinli/article/details/79426128
在尝试启动YARN的App Timeline Server时遇到'too many open file'错误。解决方案包括：调整系统限制，如通过`ulimit`设置最大打开文件数，并在`/etc/security/limits.conf`中持久化配置；增加`/proc/sys/fs/file-max`的值；确保集群时间同步；如果问题依旧，可以删除App Timeline Server的本地目录和HDFS上的相关文件，然后重启服务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

查看日志，报错：too many open file

（1）设置打开文件的最大数值

# ulimit -a

# ulimit -n 65535

# vim /etc/security/limits.conf

新增内容：

* soft nofile 65535

* hard nofile 65535

（2）

echo 655360 > /proc/sys/fs/file-max

编辑文件/etc/sysctl.conf，插入下行。 

最低0.47元/天 解锁文章

200万优质内容无限畅学
YARN Timeline Server原理与代码实例讲解
AI天才研究院
05-25 801
YARN Timeline Server原理与代码实例讲解 1.背景介绍 1.1 什么是YARN Timeline Server? YARN Timeline Server是Apach
"App Timeline Server"重启失败解决办法
ritow的专栏
08-23 5565
环境说明： 安装的是HDP-2.1 Ambari-1.7 本来是用的与hdp2.1一起发布的ambari1.6版本，后来ambari单独升级了。 问题描述： 由于业务量的增加，想要调整一下yarn的参数。但在调整了参数之后，重启yarn的时候,"App Timeline Server"总是失败。 出错信息： stderr: /var/lib/ambari-ag
yarn中 Timeline Service V2.0 Reade 启动不起来
小小董的博客
09-15 1048
Traceback (most recent call last): File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/YARN/package/scripts/timelinereader.py", line 119, in <module> ApplicationTimelineReader().execute() File "/usr/lib/ambari-agent/lib/resource_manage.
YARN Timeline Server介绍
热门推荐
fengwuwer的博客
10-28 1万+
1.背景介绍： 在hadoop2.4版本之前对任务执行的监控只开发了针对MR的Job History Server，它可以提供给用户用户查询已经运行完成的作业的信息，但是后来，随着在YARN上面集成的越来越多的计算框架，比如spark、Tez，也有必要为基于这些计算引擎的技术开发相应的作业任务监控工具，所以hadoop的开发人员就考虑开发一款更加通用的Job History Server，
(14)YARN Timeline Server
sun
03-22 3337
概述 介绍当前状态时间轴结构 部署 配置运行时间线服务器通过命令行访问通用数据 发布应用程序的具体数据时间线服务器REST API通用数据REST API 概述 介绍 通过时间轴服务器在YARN中以通用方式存储和检索应用程序的当前和历史信息。它有两个责任： 坚持应用程序特定信息 收集和检索完全具体到应用程序或框架的信息。例如，Hadoop MapReduc
hadoop hdfs.xml权限问题导致App Timeline Server服务无法正常启动
TURING.DT
04-20 4173
近期操作ambari重启ResourceManager的App Timeline Server   服务无法正常启动，ambari界面报错如下： 4 - File['/var/run/hadoop-yarn/yarn/yarn-yarn-timelineserver.pid'] {'action': ['delete'], 'not_if': 'ls /var/run/hadoop-yarn
YARN WebUI 服务
金州饿霸吃不饱的博客
01-09 1548
或点击页面左侧Tools栏目中的红线框configuration链接会打开JHS的所需配置页面，在配置页面中，主要有集群自定义配置（core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml）和集群默认配置（core-default.xml、hdfs-default.xml、yarn-default.xml和mapred-default.xml）两种。当点击任意一个应用程序时，会打开一个新页面，并展示这个应用程序的运行信息。
YARN总结
TU_JCN的博客
02-24 379
YARN资源调度系统 hadoop：hadoop-2.6.0-cdh5.14.2 CDH版本 文章目录YARN资源调度系统1. YARN概述2. YARN架构2.1 **ResourceManager**2.2 **NodeManager**2.3 Container2.4 **ApplicationMaster**2.5 Resource Request2.6 JobHistoryServe...
yarn timeline 服务
yuangeqingtian的专栏
07-15 2704
介绍 应用现在和历史的信息的存储和检索是在yarn中通用的特性，通过timeline服务器。她负责两个方面： 保有应用独有的信息： 应用或者框架独有的信息整体的收集和检索。比如说：mapreduce框架可以包括信息的片段：像是一些map任务，reduce任务等等。应用开发者可以通过timeline client发布特定的信息给timeline server，在applicat
hadoop-yarn-server-timelineservice-2.10.1.jar
04-10
timelineservice jar包
app timeline server
wk022的专栏
10-12 1720
之前运行在YARN上的计算框架中，只有MapReduce配有Job History server，该server可以供用户查询已经运行完成的作业的信息，随着YARN上计算框架的增多，有必要增加一个通用的Job History Server，于是开发了Generic history server，后来改名为Application Timeline Server，相关文档说明见：Applicati
Spark- Spark Yarn模式下跑yarn-client无法初始化SparkConext,Over usage of virtual memory
weixin_34218890的博客
09-27 229
在spark yarn模式下跑yarn-client时出现无法初始化SparkContext错误. 17/09/27 16:17:54 INFO mapreduce.Job: Task Id : attempt_1428293579539_0001_m_000003_0, Status : FAILED Container [pid=7847,containerID=contai...
记一次 Hadoop 3.x 集群 YARN 启动 timelineserver（ApplicationHistoryServer） 服务
一花一世界
01-10 3707
一、Hadoop 集群背景 1、安装OpenJDK1.8 并查看安装位置 https://blog.youkuaiyun.com/llwy1428/article/details/111144659 2、Centos7.x 安装部署 Zookeeper 3.6.2 集群 https://blog.youkuaiyun.com/llwy1428/article/details/111601567 3、Hadoop 3.x 部署 YARN 集群及基本操作 https://blog.youkuaiyun.com/llwy1428/article/d
Restart App Timeline Server无法重启
L
02-23 1630
集群版本 HDP-2.6.3.0 YARN的App Timeline Server无法启动，导致整个YARN无法启动，如图： 错误如下： stderr: /var/lib/ambari-agent/data/errors-688.txt Traceback (most recent call last): File "/var/lib/ambari-agent/cac...
leveldb出现一堆很大的sst文件
weixin_34234829的博客
11-13 604
2019独角兽企业重金招聘Python工程师标准>>> ...
pspice仿真错误
lusi15620313373的博客
07-12 3919
PSpice 仿真错误 There are no data values in section number 1 ignoring this section. 错误解决：时间扫描的时间设置的不对，仔细看一下是不是Run to time（仿真结束时间）设置的值比Start saving data afer（仿真开始时间）的值还要小？这样肯定是要报错的。 ...
Hadoop日常运维问题处理及系统调优
ytp552200ytp的博客
08-13 1038
问题导读： 1、如何下线一个 datanode 节点? 2、某个 datanode 节点磁盘坏掉怎么办？ 3、NameNode 服务器故障了怎么办？ 4、Hadoop 如何进行操作系统调优？ Hadoop 日常运维问题及其解决方法 1. 如何下线一个datanode 节点? 当一个datanode节点所在的服务器故障或者将要退役时，你需要在Hadoop中下线这个节点，下线一个datanode节点的过程如下。 （1）修改hdfs-site.xml文件 如下选项，找到name...
jason315@Tianjuns-MacBook-Pro openmetadata-ui % npm install && npm run build > open-metadata@0.1.0 preinstall > yarn global add node-gyp@10.0.1 ERROR: global is not COMMAND nor fully qualified CLASSNAME. Usage: yarn [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS] or yarn [OPTIONS] CLASSNAME [CLASSNAME OPTIONS] where CLASSNAME is a user-provided Java class OPTIONS is none or any of: --buildpaths attempt to add class files from build tree --config dir Hadoop config directory --daemon (start|status|stop) operate on a daemon --debug turn on shell script debug mode --help usage information --hostnames list[,of,host,names] hosts to use in worker mode --hosts filename list of hosts to use in worker mode --loglevel level set the log4j level for this command --workers turn on worker mode SUBCOMMAND is one of: Admin Commands: daemonlog get/set the log level for each daemon node prints node report(s) rmadmin admin tools routeradmin router admin tools scmadmin SharedCacheManager admin tools Client Commands: applicationattempt prints applicationattempt(s) report app|application prints application(s) report/kill application/manage long running application classpath prints the class path needed to get the hadoop jar and the required libraries cluster prints cluster information container prints container(s) report envvars display computed Hadoop environment variables fs2cs converts Fair Scheduler configuration to Capacity Scheduler (EXPERIMENTAL) jar <jar> run a jar file logs dump container logs nodeattributes node attributes cli client queue prints queue information schedulerconf Updates scheduler configuration timelinereader run the timeline reader server top view cluster information version print the version Daemon Commands: globalpolicygenerator run the Global Policy Generator nodemanager run a nodemanager on each worker proxyserver run the web app proxy server registrydns run the registry DNS server resourcemanager run the ResourceManager router run the Router daemon sharedcachemanager run the SharedCacheManager daemon timelineserver run the timeline server SUBCOMMAND may print help when invoked w/o parameters or with -h. npm ERR! code 1 npm ERR! path /Users/jason315/working/ideaspace/OpenMetadata npm ERR! command failed npm ERR! command sh -c yarn global add node-gyp@10.0.1 npm ERR! A complete log of this run can be found in: /Users/jason315/.npm/_logs/2025-03-12T09_57_28_626Z-debug-0.log
最新发布
03-13
<think>嗯，用户遇到了一个错误，是在运行`npm install && npm run build`时出现的。首先，我需要仔细看一下错误信息。错误信息里提到`yarn global add node-gyp@10.0.1`失败了，报错是`ERROR: global is not COMMAND nor fully qualified CLASSNAME.`。看起来用户可能在项目的preinstall脚本里使用了yarn的global命令，而这里可能有问题。 首先，Yarn的全局安装命令是否正确？我记得Yarn的global命令在v1和v2（Berry）之间可能有所不同。比如，Yarn 1.x使用`yarn global add`，而Yarn 2.x可能改变了命令结构。但错误提示显示Yarn认为global不是一个有效的命令或类名，这说明可能用户使用的是Hadoop的Yarn，而不是JavaScript的包管理工具Yarn。这点很关键，因为Hadoop Yarn和JavaScript Yarn同名，但功能完全不同。 为什么会这样呢？可能用户的环境中同时安装了Hadoop Yarn和JavaScript Yarn，但系统路径中Hadoop的Yarn被优先调用了。当执行`yarn global add`时，系统实际上调用的是Hadoop的Yarn，导致命令无法识别。 那解决办法应该是确保使用的是正确的Yarn版本。用户需要检查系统中安装的是哪个Yarn。可以通过`which yarn`或者`yarn --version`来确认。如果是Hadoop的Yarn，就需要卸载它或者调整PATH环境变量，让npm使用的Yarn是JavaScript的那个。 另外，项目的preinstall脚本可能需要修改，避免使用`yarn global add`。可能应该直接使用npm来安装全局依赖，或者使用项目本地的node-gyp。例如，将preinstall脚本中的命令改为`npm install -g node-gyp@10.0.1`，或者直接移除这个全局安装步骤，因为node-gyp可能已经作为本地依赖被安装。 还有，用户可能需要检查package.json中的scripts部分，看是否有preinstall脚本调用了错误的Yarn命令。如果有的话，修改成正确的命令，或者考虑是否需要这个全局安装。有时候全局安装会导致版本冲突，尤其是在不同的项目中，所以推荐使用本地依赖。 另外，用户的环境变量可能存在问题。PATH变量中可能Hadoop的路径在npm/node的前面，导致系统先找到Hadoop的yarn命令。调整PATH的顺序，让npm的路径优先，可以解决这个问题。 最后，用户可能应该完全切换到使用npm而不是yarn，特别是如果项目本身使用npm的话。删除yarn.lock文件，确保所有脚本都使用npm命令，这样可以避免混淆。 综上所述，解决步骤应该是：确认Yarn版本是否正确，调整环境变量或卸载Hadoop Yarn，修改preinstall脚本使用npm安装，或者移除全局安装改用本地依赖。</think>该错误是由于错误使用 Hadoop Yarn 替代 JavaScript Yarn 包管理器导致的。以下是具体分析和解决方案： **问题原因分析：** 1. `yarn global add` 命令被错误解析为 Hadoop Yarn 的命令（Hadoop Yarn 是资源管理框架） 2. 系统环境变量 PATH 中 Hadoop Yarn 的路径优先于 JavaScript Yarn 3. package.json 的 preinstall 脚本错误使用了全局安装命令 **解决方案：** 1. 确认 Yarn 版本： ```bash # 检查当前 yarn 路径 which yarn # 检查 yarn 版本 yarn --version ``` 2. 卸载 Hadoop Yarn 或调整环境变量： ```bash # 临时切换环境变量（示例） export PATH="/usr/local/bin:$PATH" # 将 npm/yarn 的路径放在前面 ``` 3. 修改 package.json 的 preinstall 脚本： ```json { "scripts": { "preinstall": "npm install -g node-gyp@10.0.1" } } ``` 4. 或使用本地安装（推荐）： ```bash # 删除原有全局安装 npm uninstall -g node-gyp # 改为本地开发依赖 npm install --save-dev node-gyp@10.0.1 ``` **完整修复流程：** ```bash # 确保已安装 JavaScript 的 yarn npm install -g yarn # 清除缓存 rm -rf node_modules rm -rf package-lock.json rm -rf yarn.lock # 使用 npm 替代 yarn npm install npm run build ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值