flink内存管理, 增加Task内存大小,减少ManageMemory, network内存的方法

Flink1.12-之JobManager&TaskManager内存管理 Flink1.12-之内存管理 1、前言 flink为了让用户更好的调整内存分配,达到资源的合理分配,在Fllink1.10引入了TaskManager的内存管理,后续在Flink1.11版本引入了JobManager的内存管理,用户可以通过配置的方式合理的分配资源。 不管是TaskManager还是JobManager都是单独的JVM进程,他们共用一套内存模型抽象(TaskManager的内存模型更加复杂),如下。 该模型由heap和off-heap内存组成,这里有以下3种调整内存的方式,3种方式必 阅读详情

问题描述

flink默认分配的内存,不合理,jvm 堆内存太小,其他内存太大。向yarn申请8G内存,最后分配到heap的大小才3.2G,不是让人抓狂吗?

在这里插入图片描述
以上是,向yarn申请8G内存,实时分配的内存是上图所示。

内存分析:
1.内存分配中,TaskHeap占用89%,其实这时已经fullGC,
2.但ManagedMemory分配是2.78G,实际用1M都没有。
3. network内存分配了712M,实际才使用1.8M。

希望把 ManagerdMemory和Network的内存分配给TaskMemory,如何才能做到?

taskmanager.memory.managed.fraction
源码中找:

    public static final ConfigOption<Float> MANAGED_MEMORY_FRACTION =
            key("taskmanager.memory.managed.fraction")
                    .floatType()
                    .defaultValue(0.4f)
                    .withDescription(
                            "Fraction of Total Flink Memory to be used as Managed Memory, if Managed Memory size is not"
                                    + " explicitly specified.");

默认值是0.4.

    public static final ConfigOption<Float> NETWORK_MEMORY_FRACTION =
            key("taskmanager.memory.network.fraction")
                    .floatType()
                    .defaultValue(0.1f)
                    .withDeprecatedKeys(
                            NettyShuffleEnvironmentOptions.NETWORK_BUFFERS_MEMORY_FRACTION.key())
                    .withDescription(
                            "Fraction of Total Flink Memory to be used as Network Memory. Network Memory is off-heap"
                                    + " memory reserved for ShuffleEnvironment (e.g., network buffers). Network Memory size is derived to"
                                    + " make up the configured fraction of the Total Flink Memory. If the derived size is less/greater than"
                                    + " the configured min/max size, the min/max size will be used. The exact size of Network Memory can be"
                                    + " explicitly specified by setting the min/max size to the same value.");

默认值:
taskmanager.memory.network.fraction = 0.1

把这两个默认值,配置文件是: flink-conf.yaml 改为

taskmanager.memory.managed.fraction: 0.1
taskmanager.memory.network.fraction : 0.05
重启服务
在这里插入图片描述
发现,修改的内存,ManagedMemory, NetworkMemory变小了,Task内存变大了。
看来task内存数,其他固定值分配完成后,剩下作为堆内存。

这两个值,看上去可以继续调小的。 taskmanager.memory.managed.fraction: 0.05都完全够用。
问题解决,开心。

把内存该为:

taskmanager.memory.managed.fraction: 0.05 
taskmanager.memory.network.fraction: 0.05

效果如下图:
在这里插入图片描述

默认值为什么是这么大?是什么应用场景呢?
查看官网,对内存的介绍

https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/memory/mem_tuning/
在这里插入图片描述
Mmanaged memory是专门批处理优化使用,难怪在流处理上,看不到浪花。。。

flink任务内存调优,TaskManager、JobManager内存配置 Flink是基于java的JVM运行,拥有高效的数据处理能力,但是考虑到用户在 Flink 上运行的应用的多样性,尽管flink框架已经为所有配置项提供合理的默认值,仍无法满足所有情况下的需求。 flink进程总内存、taskmanager内存、jobmanager内存配置... 阅读详情

相关推荐

空0014

14。

Direction_Wind的博客 1万+

Flink 1.10之改进的TaskManager内存模型与配置

前言 Flink社区在FLIP-49提出了新版统一的TaskManager内存模型及配置,这也是Flink 1.10版本最主要的改进与优化点之一。根据社区的说法,该proposal致力于解决1.9版本及之前的TM内存配置的三个缺点: 流处理与批处理作业的内存配置方法不同; 流处理作业中RocksDB状态后端的内存配置过于复杂,需要小心控制堆外内存的消耗量; 内存配置有隐藏细节,且...

LittleMagic's Blog 4356

【Flink】RocksDB增量模式checkpoint大小持续增长的问题及解决

转载:RocksDB增量模式checkpoint大小持续增长的问题及解决Flink版本:1.13.5一个使用FlinkSQL开发的生产线上任务, 使用Tumble Window做聚和统计,并且配置table.exec.state.ttl为7200000,设置checkpoint周期为5分钟,使用rocksdb的增量模式。正常情况下,任务运行一段时间以后,新增和过期的状态达到动态的平衡,随着RocksDB的compaction,checkpoint的大小会在小范围内上下起伏。实际观察到,checkpoint大

九师兄 3362

Flink TaskManager内存优化

在生产使用一段时间后发现 托管内存(默认是Total memory* 0.4)和网络开销内存(0.1)使用较少。所以选择降低这两部分的内存。

weixin_45249411的博客 1449

Flink RocksDB内存占用不断增加的问题及其解决方法

本文介绍了在使用 Flink 和 RocksDB 处理大数据时,可能遇到的内存占用不断增加的问题。然而,当处理大量数据时,我们可能会遇到 RocksDB 内存占用持续增长的问题。本文将介绍这个问题的背景,并提供相应的源代码示例,以解决该问题。当使用 RocksDB 作为 Flink 的状态后端时,用户可能会观察到任务的内存占用率不断增加,最终导致内存耗尽和任务失败。当写入和读取大量数据时,这两个组件会占用大量内存,导致内存占用率不断增加。Flink RocksDB内存占用不断增加的问题及其解决方法。

DevEnigma的博客 1546

OSMDroid(1)——OSM简介,基础例子搭建

1.OSMDroid简介 Osmdroid是一款完全开源的地图基本操作SDK,相比于现在普遍使用的百度地图,高德地图,谷歌地图等最大的好处就是开源。 最近在做一个军方项目,要求完全不能联网,从开发到应用整个阶段都是在局域网进行,相比之下采用了OSMDroid这个SDK作为解决方案。 先来看OSMDroid,便是(OpenStreetMapForAndroid),后面都简称OSM...

robotskly的博客 6182

Flink TaskManager内存管理机制介绍与调优总结

Flink TaskManager内存管理机制介绍与调优总结

xxy1022_的博客 4571

Gazebo仿真环境下的强化学习实现

实际上利用Gazebo进行强化学习无非是环境获取上的不同,Gazebo的环境控制需要使用ROS服务进行控制,状态可以通过Gazebo进行获取,同时某些必要数据需要从话题中获取,最重要的是组织获取 的数据(通过话题等)与控制Gazebo的仿真步骤之间的组合。强化学习的手段与传统算法无异,强化学习方法最重要的是要确定动作空间、状态空间、奖励空间,这三个空间是work的前提。在笔者自己的环境中,将获取里程计的话题以及获取激光点的数据替换成为了自己的本机的仿真环境匹配的话题。

Moresweet 猫甜 6451

Flink的数据抽象和数据交换过程

Flink为了避免JVM的固有缺陷 例如java对象存储密度低,FGC影响吞吐和影响等,实现了自主管理内存。 flink内存管理 大数据领域的开源框架(Hadoop,Spark,Storm)都使用的 JVM,当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中,这就不得不面对 JVM 存在的几个问题: (1)Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存:对象头占了8个,boolean 属性占了1个,对齐填充占了7个。而实际上只需要一个bi

liziLove_fengmi的博客 435

matlab2021a版本条件下安装spm

SPM (Statistical Parametric Mapping),中文名叫统计参数映射。统计参数映射是指构建和评估空间扩展的统计过程,用于测试关于功能成像数据的假设。这些想法已经在名为SPM的免费开源软件中得到了实例化。SPM软件包用于脑成像数据序列分析。目前的版本可以分析fMRI, PET, SPECT, EEG和MEG。 可能由于matlab版本更新的问题,按照之前教程所写的安装方法会出现错误,踩了一些坑,但好在最终解决了。。。 1、下载链接,如下 SPM12 Software -...

qq_42356925的博客 8407

ABAP 7.40+新语法实战:用VALUE和REDUCE五分钟搞定复杂内表统计

本文详细介绍了ABAP 7.40+新语法中的VALUE和REDUCE操作符,如何高效处理复杂内表统计任务。通过实战案例展示,这些新语法能将代码量减少70%以上,显著提升开发效率和可读性,特别适合大数据量下的销售数据分析、分组统计等场景。

weixin_27219587的博客 207

Flink 内存管理

TaskManager的内存布局 Flink内部并非直接将对象存储在堆上,而是将对象序列化到一个个预先分配的MemorySegment中。MemorySegment是一段固定长度的内存(默认32KB);也是Flink中最小的内存分配单元。MemorySegment提供了高效的读写方法,它的底层可以是堆上的byte[],也可以是堆外(off-heap)ByteBuffer。可以把MemorySegment看作Java NIO中的ByteBuffer,Flink还实现了Java的java.io...

METON的博客 2001

科大讯飞(1): 环形6麦语音唤醒—驱动板上的接口

介绍环形麦阵列驱动板上的接口,及其疑问

bing_feilong的博客 1176

Flink内存管理(三):MemorySegment内存使用场景:托管内存与网络内存

flink内存管理(三):MemorySegment内存使用场景:托管内存与网络内存的使用

hiliang521的博客 2564

C++继承与多态 - 继承多态原理01

C++继承多态原理讲解

大秦坑王的专栏 2980

matlab中的神经网络怎么用,matlab怎么搭建神经网络

图中 yi表示神经元i的输出,函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ,net称为净激活(net activation)。图中x1~xn是从其他神经元传来的输入信号,wij表示表示从神经元j到神经元i的连接权值,θ表示一个阈值 ( threshold ),或称为偏置( bias )。对于P,x1是行向量,x2是行向量。双极S形函数与S形函数主要区别在于函数的值域,双极S形函数值域是(-1,1),而S形函数值域是(0,1)。

wenangou的博客 6364

Flink系统知识讲解之:Flink内存管理详解

Flink系统知识讲解之:Flink内存管理详解

大数据开发、JAVA开发、人工智能AI 2539

图神经网络在金融风险传播分析中的应用

《图神经网络在金融风险传播分析中的应用》 摘要 本文旨在探讨图神经网络(Graph Neural Networks, GNN)在金融风险传播分析中的应用。首先,本文简要介绍了图神经网络的基本概念、发展历史以及其在各类应用场景中的重要性。接着,详细介绍了图神经网络的核心算法,包括图卷积神经网

AI天才研究院 1282

flink内存管理,设置思路,oom问题,一文全

这里以flink1.12 的 flink webUI 来展示内存管理,后续版本的内存可能会有变更不一致的地方,详细的解释主要放在taskManager中。

Direction_Wind的博客 5906

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Flink 优化 (一) --------- 资源配置调优

Flink 资源配置调优

在森林里麋了鹿 2051

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

【FLINK 】 Flink on YARN模式下TaskManager的内存分配

解决背景: 总的ytm分配的不变的情况下怎么划分给堆内内存JVM 一个更大的内存空间 对于心急的同学来说,我们直接先给一个解决方案,后面想去了解的再往下看: 原来的命令,-ytm 8192,分配给taskmanager 的JVM 有3.29G flink run -m yarn-cluster -ynm streaming -ys 3 -p 3 -yjm 2048 -ytm 8192 -c com.xxx.mainClass /home/hadoop/xxx.jar 优化后的命..

Zsigner的博客 2850

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

flink1.10内存模型及参数详解

flink1.10内存模型参数详解

weixin_41745141的博客 1653

23、Flink TaskManager 内存调优

Flink TaskManager 内存调优

猫猫爱吃小鱼粮 949

flink内存参数配置学习

直接上官网配置 JobManager 内存 | Apache Flink配置 JobManager 内存 # JobManager 是 Flink 集群的控制单元。它由三种不同的组件组成:ResourceManager、Dispatcher 和每个正在运行作业的 JobMaster。本篇文档将介绍 JobManager 内存在整体上以及细粒度上的配置方法。本文接下来介绍的内存配置方法适用于 1.11 及以上版本。

cclovezbf的博客 2424

flink 内存及优化

flink内存 在yarn的环境下.提交任务时指定内存 -ytm 4g -ytm,–yarntaskManagerMemory 指定的是 taskmanager.memory.managed.size 执行无状态作业或者使用 Heap State Backend(MemoryStateBackend 或 FsStateBackend)时,建议将托管内存设置为 0。 这样能够最大化分配给 JVM 上用户代码的内存。 -yD taskmanager.memory.managed.size=0 不设置管理内存为

better_mouse的博客 1831

Flink之TaskManager内存解析

一个正在运行的Flink任务,发现过程中一次checkpoint(下文简称ck)操作失败,如下图所示:checkpoint操作失败ck失败大致分为两种情况,ck decline和ck expire:(1)ck decline发生ck decline情况时,我们可以通过查看JobManager.log或TaskManager.log查明具体原因。其中有一种特殊情况为ck cancel,当前 Flink 中如果较小的ck还没有对齐的情况下,收到了更大的ck,则会把较小的ck给取消掉。(2)ck expire如果

Baron_ND的博客 1303
上一篇: 实践数据湖iceberg 第四十一课 测试维表更新场景
下一篇: 实践数据湖iceberg 第四十课 iceberg的sql运维方式(合并文件、合并元数据、清理历史快照)
*星星之火*
博客等级 码龄12年 3799粉丝 222原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值