流计算 Oceanus | Flink JVM 内存超限的分析方法总结

Flink Taskmanager 内存溢出 Flink kafka 阅读详情

作者:董伟柯,腾讯 CSIG 高级工程师

问题背景

前段时间,某客户线上运行的大作业(并行度 200 左右)遇到了 TaskManager JVM 内存超限问题(实际内存用量 4.1G > 容器设定的最大阈值 4.0G),被 YARN 的 pmem-check 机制检测到并发送了 SIGTERM(kill)信号终止该 container,最终导致作业出现崩溃。这个问题近期出现了好几次,客户希望能找到解决方案,避免国庆期间线上业务受到影响。

在 Flink 配置项中,提供了很多内存参数设定。我们逐一检查了客户作业的配置,发现各个内存配置的最大值之和也只有 3.75GB 左右(不含 JVM 自身 Native 内存区),离设定的 4.0GB 阈值还有 256MB 的空间。

用户作业并没有用到 RocksDB、GZip 等常见的需要使用 Native 内存且容易造成内存泄漏的第三方库,而且从 GC 日志来看,堆内各个区域远远没有用满,说明余量还是比较充足的。

那究竟是什么原因造成实际内存用量(RSS)超限了呢?

Flink 内存模型

要分析问题,首先要了解 Flink 和 JVM 的内存模型。官方文档 [1] 和很多第三方博客 [2] [3] 都对此有较为详尽的分析,这里只做流程的简单说明,不再详尽描述每个区域的具体计算过程。

下图展示了 Flink 内存各个区域的配置参数,其中左边是 Flink 配置项中的内存参数,中间是参数对应的内存区域,右边是这个作业配置的参数值。

在这里插入图片描述

图中深绿色的文字(taskmanager.memory.process.size)表示 JVM 所在容器内存的硬限制,例如 Kubernetes Pod YAML 的 resource limits。它的相关类为 ClusterSpecification,里面描述了 JobManager、TaskManager 容器所允许的最大内存用量,以及每个 TaskManager 的 Slot(运行槽)数等。

TaskManager 各个区域的内存用量是由 TaskExecutorProcessSpec 类来描述的。首先 Flink 的 ResourceManager 会调用 TaskExecutorFlinkMemoryUtils 工具类,从用户和系统的各项配置 Configuration 中获取各个内存区域的大小( TaskExecutorFlinkMemory 对象,不含 Metaspace 和 Overhead 部分)。这中间要考虑到旧版本参数的兼容性,所以有很多绕来绕去的封装代码。总而言之,优先级是 新配置 > 旧配置 > 无配置(计算推导 + 默认值)。随后再根据配置和上述的计算结果,推导出 JvmMetaspaceAndOverhead,最终封装为包含各个区域内存大小定义的 TaskExecutorProcessSpec 对象。

图中最右边浅绿色文字表示 Flink 内存参数最终翻译成的 JVM 参数(例如堆区域的 -Xmx、-Xms,Direct 内存区的 -XX:MaxDirectMemorySize 等),他们是 JVM 进程最终运行时的内存区域划分依据,是 ProcessMemoryUtils 这个工具类从上述的 TaskExecutorProcessSpec 对象中生成的。

堆内内存的分析

堆内内存(JVM Heap),指的是上图的 Framework Heap 和 Task Heap 部分。Task Heap 是 Flink 作业内存分配的重点区域,也是 JVM OutOfMemoryError: Java heap space 问题的发生地,当 OOM 问题发生时如下图:

在这里插入图片描述

如果这个区域内存占满了,也会出现不停的 GC,尤其是 Full GC。这些可以从监控指标面板看到,也可以通过 jstat 等命令查看。如果我们通过 Arthas、async-profiler [4] 等工具对 JVM 进行运行时火焰图采样的话,也可以看到类似下面的结果:GC 相关的线程占了很大的时间片比例:

在这里插入图片描述

对于堆内内存的泄漏分析,如果进程即将崩溃但是还存活,可以使用 jmap 来获取一份堆内存的 dump:

jmap -dump:live,format=b,file=/tmp/dump.hprof 进程PID(先做一次 Full GC 再 dump)
jmap -dump:format=b,file=/tmp/dump.hprof 进程PID(直接 dump)

如果进程崩溃难以捕捉,可以在 Flink 配置的 JVM 启动参数中增加:

env.java.opts.taskmanager: -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/taskmanager.hprof

这样 JVM 在发生 OOM 的时刻,会将堆内存 dump 保存到指定路径后再退出。

拿到堆内存 dump 文件以后,我们可以使用 MAT [5] 这个开源的小工具来分析潜在的内存泄漏情况,并输出报表。

如果 MAT 不能满足需求,还有 JProfiler 等更全面的工具可以进行堆内存的高级分析。

当然,很不幸的是,这个出问题的作业的堆内存区域并没有用满,GC 日志看起来一切正常,堆内存泄漏的可能性排除。那么还需要进一步涉足堆外内存的各个神秘区域。

堆外内存的分析

JVM 堆外内存又分为多个区域,例如 Flink HybridMemorySegment 会用到 Java NIO 的 DirectByteBuffer 使用的 Direct 内存区(MaxDirectMemorySize 参数限制的区域),类加载等使用的 Metaspace 区(MaxMetaspaceSize 参数限制的区域,JDK 8 以前叫做 PermGen)。

如果 Direct 内存区发生了 OOM,JVM 会报出 OutOfMemoryError: Direct buffer memory 错误;而 Metaspace 区 OOM 则会报出 OutOfMemoryError: Metaspace 错误。但是这个作业日志中并没有看到任何 OutOfMemoryError 的错误,因此这些地方内存泄漏的可能性也不大。

使用 Native Memory Tracking 查看 JVM 的各个内存区域用量

JVM 自带了一个很有用的详细内存分配追踪工具:Native Memory Tracking(NMT)[6],可以通过配置 JVM 启动参数来开启(可能造成 10% ~ 20% 的性能下降,线上慎用):

-XX:+UnlockDiagnosticVMOptions -XX:+PrintNMTStatistics -XX:NativeMemoryTracking=summary

随后可以对运行中的 JVM 进程执行:

jcmd 进程 VM.native_memory summary

来获取此时此刻的 JVM 各区域的内存用量报表。

下面是一个典型的返回结果(// 为本文备注内容,标出了占用较多内存的区域含义):

Total: reserved=5249055KB, committed=3997707KB // 总物理内存申请量为 3.81G
-                 Java Heap (reserved=3129344KB, committed=3129344KB)  // 堆内存占了 2.98G 物理内存
                            (mmap: reserved=3129344KB, committed=3129344KB)

-                     Class (reserved=1130076KB, committed=90824KB)  // 类的元数据占用了 88.7M 物理内存
                            (classes #13501) // 加载的类数
                            (malloc=1628KB #17097)
                            (mmap: reserved=1128448KB, committed=89196KB)

-                    Thread (reserved=136084KB, committed=136084KB)  // 线程栈占用了 132.9M 物理内存
                            (thread #132)  // 线程数
                            (stack: reserved=135504KB, committed=135504KB)
                            (malloc=425KB #692)
                            (arena=155KB #249)

-                      Code (reserved=256605KB, committed=44513KB)
                            (malloc=7005KB #11435)
                            (mmap: reserved=249600KB, committed=37508KB)

-                        GC (reserved=69038KB, committed=69038KB)
                            (malloc=58846KB #618)
                            (mmap: reserved=10192KB, committed=10192KB)

-                  Compiler (reserved=394KB, committed=394KB)
                            (malloc=263KB #811)
                            (arena=131KB #18)

-                  Internal (reserved=432708KB, committed=432704KB) // Direct 内存等部分占了 422.6M 物理内存
                            (malloc=432672KB #31503)
                            (mmap: reserved=36KB, committed=32KB)

-                    Symbol (reserved=23801KB, committed=23801KB)
                            (malloc=21875KB #165235)
                            (arena=1926KB #1)

-    Native Memory Tracking (reserved=3582KB, committed=3582KB)
                            (malloc=20KB #226)
                            (tracking overhead=3563KB)

-               Arena Chunk (reserved=1542KB, committed=1542KB)
                            (malloc=1542KB)

-                   Unknown (reserved=65880KB, committed=65880KB)
                            (mmap: reserved=65880KB, committed=65880KB)

可以看到,堆内存、Direct 内存等区域占据了 JVM 的大部分内存,其他区域占用量相对较小。这个 JVM 被统计到的实时内存申请量为 3.81GB.

但是,使用 top 命令查看这个 JVM 进程的实时用量时,发现 RSS(物理内存占用)已经升高到了 4.2G 左右,与上述结果不符,说明还是有部分内存没有追踪到:

在这里插入图片描述

使用 jemalloc 替代 ptmalloc 并统计内存动态分配

既然 JVM 自己统计的内存分配与实际占用仍然有较多偏差,而搜索了网上的各种资料时,经常会遇到因为 glibc malloc 64M 缓存造成内存超标的问题 [7]。

由于 jemalloc 并没有这个 64M 的问题,而且可以通过 profiler 来统计 malloc 调用的动态分配情况,因此决定先使用 jemalloc [8] 来替换 glibc 自带的分配函数,并进行统计。当然,使用 strace 等命令也可以拦截内存分配和释放情况(追踪 mmap、munmap、brk 等系统调用),不过结果太多了,分析起来并不方便。

下载解压 jemalloc 的发行包以后,进入相关目录,编译并安装它:

./configure --enable-prof --enable-stats --enable-debug --enable-fill && make && make install

随后在 Flink 参数里加上这些内容:

containerized.taskmanager.env.LD_PRELOAD: "/usr/local/lib/libjemalloc.so.2"
containerized.taskmanager.env.MALLOC_CONF: "prof:true,lg_prof_interval:29,lg_prof_sample:17"

重新运行作业,就可以不断地采集内存分配情况,并输出 .heap 文件到 JVM 进程的工作目录(例如 jeprof.951461.7.i7.heap)。

随后可以安装 graphviz,再使用 jemalloc 自带的 jeprof 命令对结果进行绘图(尽量在进程退出前绘图,避免地址无法解析):

yum install -y graphviz
jeprof --svg `which java` 采集的.heap文件名 > ~/result.svg

结果如下:

在这里插入图片描述

从左边的分支来看,71.1% 的内存分配请求主要由 Unsafe.allocateMemory() 调用的(例如 Flink MemoryManager 分配的堆外 MemorySegments),中间分支的 init 是 JVM 启动期间分配的,也是正常范围。右边分支主要是 JVM 内部的 ParNew & CMS GC、Class 解析所需的符号表、代码缓存所需的内存,也是正常的。因此并未观察到较大的第三方库造成的内存泄漏情况,因此间接引入第三方库造成内存泄漏的可能性也基本排除了。

使用 pmap 命令定期采样内存区块分配

既然 JVM NMT 上报的内存分区快照、jemalloc 统计的动态分配情况都没有找到准确的问题根源,我们还可以从底层出发,使用 pmap 命令来查看 JVM 进程的各个内存区域的分配情况,看是否有异常的条目。

可以使用下面的命令,从 Flink TaskManager 启动开始采样:

while true
do
        pmap -x JVM进程的PID > /tmp/pmap.`date +%Y-%m-%d-%H-%M-%S`.log
        sleep 30s
done

随后可以使用文件比较工具,对比不同时间点的内存分配情况(例如下图是刚启动和崩溃前的最后一个记录),看是否有大块的不能解释的分配区段:

在这里插入图片描述

上图中,除了堆内存区有大幅增长(只是稍微超出一些 Xmx 的限制),其他区域的增长都比较小,因此说明 JVM 内存超限基本上是因为堆内存区域随着使用自然扩展 + JVM 自身较大的 Overhead(内部所需内存)造成的。并且这部分内存在 NMT 报告里统计的并不准确,还需要进一步跟进。

初步总结

在上面的分析中,我们先从最容易分配也是占比最大的堆内存区域开始分析,逐步进入堆外内存的深水区。由于堆外内存除了 Java 自带的 NMT 机制外,并没有综合的分析工具可用,因此这里的分析过程往往繁杂而耗时,且较难得到准确原因。

本次问题的初步结论是 JVM 自身运行所需的内存(Overhead)占用较大,而用户对 Flink 的参数 taskmanager.memory.jvm-overhead.{min,fraction,max} 设定值过小(为了给堆内存留出更大空间,在这里只设置了 256MB 的阈值,而实际的内存占用不止这些)。

需要注意的是,这个参数并不意味着 Flink 能“限制”JVM 内部的内存用量。相反,它的用途是令 Flink 在计算各区域(Heap、Off-Heap、Network 等)的内存空间时,能考虑到 JVM 这部分 Overhead 空间并不能被自己使用,应当减去这部分不受控的余量后再分配。

特别地,当用到了 RocksDB 等 JNI 调用的原生库时,请务必继续调大 taskmanager.memory.jvm-overhead.fraction 和 taskmanager.memory.jvm-overhead.max 参数的值(例如给到 1~2GB),避免余量不够而造成的总内存用量超标的问题。

下表总结了本文所用的工具和适用场景:

工具名简介常用使用场景
jstatJava 自带的命令,可以查看 JVM 的统计信息,例如各类 GC 次数、时长等,各内存区域的使用量等查看各区域内存用量,定位 GC 问题等
jmapJava 自带的命令,可以生成 JVM 堆内内存的 Dump 文件,也可以查看内存对象分布直方图等获取堆内内存 Dump、查看堆内存中对象分布
jcmdJava 自带的命令,可以对正在运行的 JVM 发送命令,例如开启和关闭特定参数、触发 GC、查看某些统计信息等开启内置 Flight Recorder、查看 NMT 统计信息等
Arthas包含了一系列问题定位和 JVM 操控小工具,可用来拦截运行时调用现场,动态代码替换、查看 Classloader、Dump 内存等多种用途各类场景,通常在线使用
JProfiler非常强大的 JVM 剖析和问题排查工具,可以在线 attach 到远程 JVM,也可以离线分析 Dump 文件各类场景,图形化诊断 JVM 问题
MATEclipse 推出的自动堆内存泄露分析工具堆内存泄露分析
NMTJava 自带的功能,可以追踪 JVM 内部各区域的内存分配和使用情况堆外内存分析
jemalloc + jeprof一个通用的内存管理库,可以替代 glibc 中的 malloc,可以避免很多内存碎片问题,支持记录调用次数和分配量等信息等用于后续分析底层 malloc 调用分析和剖析
pmapLinux 自带命令,查看某个进程的内存映射信息进程内存映射情况分析

后续计划

由于人工排查堆外内存问题的过程相当繁琐,十分依赖定位者的直觉和经验,可复制性弱,工具不统一,效率很低。

我们正在规划将这些定位流程标准化地集成到我们的流计算 Oceanus 平台上,做到自助、自动诊断,逐步实现我们的愿景:打造大数据产品生态体系的实时化分析利器,成为一个基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定的企业级实时大数据分析平台,实现企业数据价值最大化,加速企业实时化、数字化的建设进程。

参考阅读

[1] Flink 官方文档 · 内存模型详解 https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/memory/mem_detail.html

[2] Flink内存配置 https://www.jianshu.com/p/a29b7b7feaaf

[3] Flink内存设置思路 https://www.cnblogs.com/lighten/p/13053828.html

[4] jvm-profiling-tools/async-profiler https://github.com/jvm-profiling-tools/async-profiler

[5] Memory Analyzer (MAT) https://www.eclipse.org/mat/

[6] Native Memory Tracking https://docs.oracle.com/javase/8/docs/technotes/guides/vm/nmt-8.html

[7] 疑案追踪:Spring Boot内存泄露排查记 https://mp.weixin.qq.com/s/aYwIH0TN3nSzNaMR2FN0AA

[8] jemalloc https://github.com/jemalloc/jemalloc/releases

流计算 Oceanus 限量秒杀专享活动火爆进行中↓↓

在这里插入图片描述

请添加图片描述

一次线上Flink 背压情况分析之重新认识java dump 文件 1.背压情况 发送端情况满,可以看背压图以及看flink 任务 back pressure 是否high 2.解决问题 thread dump 分析 3.Thread dump 文件关键信息 可以看到对应的行数代码 分析可能出现异常原因:countDownLatch 没有为0 4.java 异常分析 head dump:JVM 内存信息 jmap Thread dump:线程信息 jstack JVM Heap dump和Thread dump - 简书 (ji... 阅读详情

相关推荐

Flink RocksDB内存占用不断增加的问题及其解决方法

本文介绍了在使用 Flink 和 RocksDB 处理大数据时,可能遇到的内存占用不断增加的问题。然而,当处理大量数据时,我们可能会遇到 RocksDB 内存占用持续增长的问题。本文将介绍这个问题的背景,并提供相应的源代码示例,以解决该问题。当使用 RocksDB 作为 Flink 的状态后端时,用户可能会观察到任务的内存占用率不断增加,最终导致内存耗尽和任务失败。当写入和读取大量数据时,这两个组件会占用大量内存,导致内存占用率不断增加。Flink RocksDB内存占用不断增加的问题及其解决方法。

DevEnigma的博客 1546

Flink自主内存管理——JVM堆上内存和堆外内存的问题

系列文章目录 文章目录系列文章目录前言一、JVM内存管理在大数据场景下的问题1.有效数据密度低2.垃圾回收1.OOM问题影响稳定性1.缓存未命中问题二、自主内存管理堆上内存的问题堆外内存的不足之处 前言 Java语言的好处是不用考虑底层,JVM可以对代码进行深度优化,对内存资源进行管理,自动回收内存。但是自动内存管理的问题在于不可控,基于JVM的大数据引擎常常会面临一个问题,即在处理海量数据的时候,如何在内存中存储大量的数据 一、JVM内存管理在大数据场景下的问题 1.有效数据密度低 Java的

qq_46045632的博客 3271

【Flink】Flink TaskManager 内存不足导致重启

一个flink程序运行一段时间后,突然重启了,查看日志报错如下 这句话的意识是 当前运行的内存超过物理内存限制,当前使用了2G的物理内存,4G的虚拟内存。内存不够用了,查看内存发现 只给了2G内存,改成如下就好了 其他场景请参考:【Flink】connection indicates remote task manager was lost相似问题:【Flink】Flink Container exited with a non-zero exit code 143【Flink】Flink Dump of

九师兄 4120

如何在启动taskmanager时传入自定义的java参数

我修改了flink的一些源码,需要通过外部-Dkey=value的形式动态将值传入,试了下无法直接通过bin/flink run 后加-D的方式来添加,有什么好的办法吗? 方式一: 可以在flink-conf.yaml里设置,例如: env.java.opts: -Djob.name={{job_name}} 方式二: 官网有相关配置 https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#jvm-and-logging-

ChengYanan的博客 2517

【Flink】taskmanager到底设置多少内存为好

本flink版本基于1.12 在做flink开发过程中会遇到内存参数设置问题,如果设置过小会造成flink任务无法提交,那到底我们应该把flink的jobmanager设置多大才不会报错呢?我们先看下FlinkUI,jobmanager组成如图所示: ...

一杯咖啡半杯糖的博客 1万+

Flink TaskManager内存耗尽引发的重启问题

为了解决这个问题,我们可以通过调整TaskManager的内存配置、减少并行任务数量、增加TaskManager的数量、使用状态后端存储中间结果以及优化作业逻辑和内存使用等方法来提供足够的内存给TaskManager使用。每个TaskManager都有自己的内存,增加TaskManager的数量可以提供更多的内存供作业使用。我们设置了TaskManager进程的堆外内存大小为1GB,每个Task的堆内内存大小为128MB,以及每个Task的堆外内存大小为256MB。在这个示例中,我们使用了Flink的。

TechWhiz的博客 1151

flink内存管理,设置思路,oom问题,一文全

这里以flink1.12 的 flink webUI 来展示内存管理,后续版本的内存可能会有变更不一致的地方,详细的解释主要放在taskManager中。

Direction_Wind的博客 5906

Blender关于GIS安装及使用天地图

Blender下载安装及GIS插件的安装及使用

Miss_SQ的博客 6973

flink1.10内存模型及参数详解

flink1.10内存模型参数详解

weixin_41745141的博客 1653

Amber分子动力学模拟:蛋白结构准备全流程与关键注意事项

分子动力学模拟是研究蛋白结构、配体结合与构象变化的重要计算手段,其结果的可靠性高度依赖初始结构的质量。在Amber模拟体系中,结构准备是决定后续计算成败的“一票否决”环节,任何缺失残基、错误质子化状态或未处理的二硫键都可能让长时程模拟失去意义。从PDB原始文件出发,需依次完成结构检查与清洗、残基命名统一、配体参数化、金属离子建模、加氢及质子化状态判断,最后通过tleap构建力场、溶剂盒子与离子环境。这一过程看似琐碎,却直接决定了蛋白在模拟中的物理合理性。无论是解析催化机制、评估药物结合亲和力,还是探索构象变

weixin_31714129的博客 241

保姆级教程:在树莓派5B上用AI Kit跑YOLOv8,实测134fps的完整配置流程

本文提供了一份详细的树莓派5B搭配AI Kit部署YOLOv8的教程,从硬件组装到模型转换、优化和部署,最终实现134FPS的高帧率推理性能。通过Hailo-8L AI加速模块和HEF模型转换,这套方案为边缘AI计算提供了强大支持,适用于智能监控、无人机视觉导航等应用场景。

weixin_28725407的博客 450

flink内存管理, 增加Task内存大小,减少ManageMemory, network内存的方法

flink内存管理, 增加Task内存大小,减少ManageMemory, network内存的方法

spark_dev的博客 4102

单细胞分析避坑指南:SCTransform和Harmony参数设置详解

本文深入解析了单细胞分析中SCTransform标准化与Harmony批次校正的关键参数设置。针对10x Genomics等数据,详细探讨了如何通过调整`vars.to.regress`、`theta`等核心参数,在有效去除技术噪音的同时,避免过度校正以保留关键的生物学差异,从而提升分析结果的可靠性与可解释性。

weixin_29053073的博客 612

Flink Configuration简介

Flink configuration

lmalds的专栏 1万+

MIPI D-PHYv2.5笔记(11) -- 高速时钟传输(High-Speed Clock Transmission)

在High-Speed模式中,Clock Lane提供了一个低摆幅(low-swing)、差分DDR时钟信号,此信号从Master到Slave,用于为高速数据传输提供时钟信号。时钟信号关于Forward Direction中的Data Lane上的位切换序列(toggling bit sequence)有正交相位,并且在一次burst的第一个被传输的bit的中心点有一个上升沿。

vivo01的专栏 3023

TC397 EB MCAL开发从0开始系列 之 [17.1] ETH配置实战 - ping/发送

TC397 MCAL 从0开始之 ETH ping测试

yy九歌的博客 1507

Flink TaskManager 内存管理机制与调优

flink 内存管理模型和调优

959 4012

【科研建模】Pycaret自动机器学习框架使用流程及多分类项目实战案例详解

对pycaret的使用流程进行梳理,并详细介绍了基于多分类预测的案例

lys_828的博客 782

Flink on YARN(下):常见问题与排查思路

Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink ...

xt1233的博客 1046

基于注意力机制的行人重识别(Reld)模型论文解读----Relation-Aware Global Attention for Person Re-identification

任务概述:在多摄像头的复杂场景中,快速定位查找指定目标的所有结果。

qq_52053775的博客 1895

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

第三章 Flink基础理论之内存优化及常见内存报错解决方案

Flink基础理论之内存优化及常见内存报错解决方案

qq_27924553的博客 3425

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Flink专题八:Flink 中内存管理

由于工作需要最近学习flink 现记录下Flink介绍和实际使用过程 这是flink系列的第九篇文章 Flink JVM 进程的 进程总内存(Total Process Memory)包含了由 Flink 应用使用的内存(Total Flink Memory)以及由运行 Flink 的 JVM 使用的内存(JVM specific memory)。 Flink 总内存(Total Flink Memory)包括 JVM 堆内存(JVM Heap)和堆外内存(Off-Heap Memory)。 其中堆外内.

beyond的博客 4007

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

架构优化:如何解决flinkjob无限增长的问题

qq_25037905的博客 408

利用jemalloc解决flink的内存溢出问题

遇到一个Linux系统 glibc内存分配导致的OOM问题,根源是内存回收出现问题,导致碎片太多,内存无法回收,系统认为内存不够用了。 涉及到以下知识点: 1、Linux中典型的64M内存区域问题 2、glibc内存分配器ptmalloc2的底层原理 3、glibc的内存分配原理(Arean、Chunk、bins等) 4、malloc_trim对内存回收的影响......

Deepexi_Date的博客 6312

Flink集群元空间内存溢出报错 java.lang.OutOfMemoryError: Metaspace

Flink集群元空间内存溢出报错 java.lang.OutOfMemoryError: Metaspace 目录Flink集群元空间内存溢出报错 java.lang.OutOfMemoryError: Metaspace一、环境以及背景故事说明二、详细报错情况三、解决办法四、内存模型分析五、最后 一、环境以及背景故事说明 Flink standalone 分布式集群 Version: 1.13.1 对于flink集群来说,我实在是一个新手中的新手,下面如有说的不对的不恰当的地方还请大家指出,不胜感激! 在

weixin_55549435的博客 4995

Flink TaskManager内存管理机制介绍与调优总结

Flink TaskManager内存管理机制介绍与调优总结

xxy1022_的博客 4571
上一篇: Flink 实践教程-进阶(7):基础运维
下一篇: Flink 实现 MySQL CDC 动态同步表结构
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值