ambari中使用zeppelin一段时间后yarn memory 不够

最新推荐文章于 2021-09-18 19:31:42 发布
最新推荐文章于 2021-09-18 19:31:42 发布
阅读量473 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 排错 文章标签： ambari spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_47549113/article/details/108640811
在使用Ambari的Zeppelin时遇到Spark作业导致Yarn内存指标变红的问题。解决办法是重启Spark，从而释放被占用的Yarn资源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在使用Ambaride的zeppelin，写spark之后，yarn的内存指标变红，如下：在这里插入图片描述
解决 ：重启spark，释放spark占用的yarn资源

在这里插入图片描述

Hadoop 集群规划与部署最佳实践
AI天才研究院
08-04 1131
2009年2月2日，Apache Hadoop项目诞生。它是一个开源的分布式系统基础架构，用于存储、处理和分析海量的数据。Hadoop具有高容错性、可靠性、可扩展性、适应性等特征，因而广泛应用于数据仓库、日志分析、网络流量监测、推荐引擎、搜索引擎等领域。由于Hadoop采用“分而治之”的架构设计理念，因此可以轻松应对数据量、计算能力和存储成本的增长。2013年底，随着云计算的火爆，基于云平台的Hadoop服务逐渐成为当下热门话题。
【大数据】一堆大数据名词
九师兄
05-11 2143
转载：https://www.iteblog.com/archives/2607.html 看了这个知识名词，我才知道，知道的越多，不知道的越多，这些技术估计一辈子都搞不完了。。能搞完的一定是神才。我说的搞完是精通哦，源码级别的 1.关系型数据库管理系统 MySQL 世界上最流行的开源数据库。 PostgreSQL 世界上最先进的开源数据库。 Oracle Database - 对象关系数据库管理系统。 Teradata - 高性能 MPP 数据仓库平台。 2. 框架 Bistro - 用于批处理和流分析.
【YARN】yarn 集群管理之memory、cpu 相关配置
人生所向，皆是美好
12-17 1506
目录yarn 管理内存相关配置yarn 管理vcores相关配置 yarn 管理内存相关配置 properties value 描述 description yarn.nodemanager.resource.memory-mb -1 可分配给containers的物理内存量（以MB为单位）。 如果设置为-1并且yarn.nodemanager.resource.detect-ha...
Zeppelin的部署
数据一哥，公众号：数据社
01-12 2174
zeppelin的部署
SKIL/配置/内存设置
bewithme的专栏
04-24 438
内存设置 神经网络需要内存，而更雄心勃勃的SKIL项目将需要更多的内存分配给SKIL和笔记本。通常，内存不足是作为java.lang.OutOfMemoryError出现的，并且知道如何更改内存设置可以在将来防止这种情况发生。 环境变量 要解决Zeppelin（笔记本后面的系统）中的内存问题，请增加可用的JVM RAM数量。Zeppelin的默认配置在JVM上提供8GB的RAM和4GB的堆外...
zeppelin-0.7.2-bin-all 安装与使用
易者悠也
08-01 2112
1 下载官方地址：http://zeppelin.apache.org/2 修改 conf/zeppelin-env.sh, export SPARK_HOME3 修改conf/zeppelin-site.xml 中的 zeppelin.server.portcp zeppelin-site.xml.template zeppelin-site.xml vim zeppelin-site.xml 4
zeppelin on yarn 搭建遇到的问题总结
Deegue
03-30 1万+
搭建zeppelin还是非常坎坷的，从最开始git clone源码下来打包，就会等上半天，弹个包下不来之类的报错。。 可以说是很扎心了，，切入正题： 1、spark 2.0及以上的版本，配置yarn的时候，需要的配置： 2、配置interpreter的时候，依赖的添加 如spark 需要添加你的机器hadoop版本： hive则需要加上hado...
最全ambari2.7.3+hdp3.1.0 集群搭建及常见问题解决办法整理
weixin_42635403的博客
04-18 3975
ambari2.7.3+hdp3.1.0 集群搭建 一、基本环境设置 a、VMware14.0安装包 http://bigsoft.zdfans.wang/VMware_5928.zip b、CentOS-7-x86_64-Minimal-1810.iso http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-...
大数据相关开源项目汇总
Null的博客
12-06 2695
调度与管理服务 **Azkaban **是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。Azkaban根据工作的依赖性进行排序，提供友好的Web用户界面来维护和跟踪用户的工作流程。 **YARN **是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性...
玩转人工智能（11）使用Pyspark上手机器学习
MOSCAR的专栏
06-03 902
文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方...
阿里修改java源码-ambari-zeppelin-service:ApacheZeppelin笔记本的Ambari服务
06-06
阿里修改java源码Zeppelin 的 Ambari 服务 Ambari 服务，用于在集群上轻松安装和管理 作者： 特别感谢：在 HDP 2.4 中添加通过 rpm 安装 弃用通知： Zeppelin 现在通过 HDP 2.5 中的 Ambari 正式可用，因此在此版本中不再需要该项目。 官方 Zeppelin Ambari 服务代码可在 Apache github 中找到 内容： 选项1： - - - - 选项 2： 部署后开始使用 Zeppelin： 其他： 先决条件： HDP 2.4.x 至少安装了 HDFS、YARN、Zookeper、Spark。 Hive 安装是可选的。 可用的旧版本说明 有 2 个可用的端口，并为 zeppelin 及其 websocket 开放。 这些将默认为 9995/9996（但可以在 Ambari 中配置）。 如果在 VirtualBox 上使用沙箱，则需要手动转发这些。 特征： 在 HDP 集群上自动部署、配置和管理 zeppelin 0.5.6 以纱线客户端模式（而不是独立模式）运行 zeppelin。 为什么这很重要？ 多租户：该服务自动检
zeppelin的介绍与使用
热门推荐
lee_dalizi的博客
11-23 4万+
zeppelin的介绍与使用 第1章 概述 1.1 什么是zeppelin Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。后台支持接入多种数据处理引擎，如spark，hive等。支持多种语言： Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。 开发者可以通过实现更多的解释器来为Zeppelin添加数据引擎。官方支持的执行引擎用一幅图可以清晰描述执行引擎的作用就是执行笔记中的与引擎
【Ambari】设置yarn队列资源为绝对值[memory=10240,vcores=12,yarn.io/gpu=4]
人生所向，皆是美好
12-17 4428
目录1.介绍2 API方式修改资源队列步骤2.1 获取所有配置的tag和version2.2 获取指定文件的指定版本的配置2.3 修改配置2.4 刷新配置2.5 重启相应组件3 相关问题解释 1.介绍 hadoop 3.0以后支持以绝对值方式指定yarn资源队列memory vcores及gpu cores的大小，2.x版本只能指定每个队列使用内存资源的百分比。 2 API方式修改资源队列步骤 ...
zeppelin启动失败
陈旧末的博客
09-18 493
报错信息 错误日志：hs_err_pidXXXX.log（位于zeppelin的/bin目录下） # # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 716177408 bytes for committing reserved memory. # Possible reasons: # The syst
zeppelin（齐柏林）的配置和使用
qq_27802435的博客
07-13 2980
查看zeppelin的端口号[root@localhost ~]#vi /usr/hdp/share/hst/activity-explorer/conf/zeppelin-site.xml<property>    <name>zeppelin.server.port</name>    <value>9060</value>    &...
Zeppelin-安装及使用
qq_33004309的博客
08-24 4785
Contents： Zeppelin简介 Zeppelin简介Zeppelin编译安装 Zeppelin案例 Zeppelin和shell整合 Zeppelin和JDBC(Hive)整合 Zeppelin和Spark整合 一、What is Zeppelin? 1）官 网：http://zeppelin.apache.org/ 2）帮助文档：http://zeppelin....
zepplin坑 一则
Show something
05-19 641
近日，某联通要用可视化任务工具，故选择zepplin。部署后，遇坑。hive执行show databases，需要2分钟延迟，本地测试无问题，查看源代码，发现hive每次都会先获取hive元数据，导致延迟。
基于Apache Ambari搭建Hadoop大数据平台
家辉自留地
02-28 1万+
基于Apache Ambari搭建Hadoop大数据平台 作者：雨水/家辉  日期：2017年2月28日 优快云博客：http://blog.youkuaiyun.com/gobitan 摘要：对于大数据的初学者来说，搭建一个Hadoop大数据基础平台不是一件容易的事。而由Hortonworks贡献给Apache开源社区的Ambari则提供了搭建整个Hadoop生态的一站式服务。本文以测试环境为例，详细
ambari自动化Hadoop部署
围城
09-22 1184
20200922 - 0. 引言 几年前为了处理大量的日志，简单学习了hadoop的内容，之后就在自己的几台破PC上进行了实验，当时安装的方式步骤大致如下： 利用expect脚本完成免密登陆 利用clush进行集群管理，比如传输文件，或者文件及命令更新 之前还想过利用docker的形式来部署，但是好像是存在一些问题的，并不是那么简单，虽然我当时部署一个单机的成功了。不过，现在想想，这种基础服务，最好还是直接逻辑部署比较好。 今天在看zeppelin的时候，发现了另外的一个工具ambari，可以自动完成H
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值