JVM内存模型一篇文章带你通透

JDK、JRE、JVM三者是什么关系?Java开发环境配置与跨平台原理详解 每个Java学习者都会遇到JDK、JRE、JVM这三个核心概念。Java源程序先由javac编译为字节码,再由JVM通过类加载机制装载并执行,这是实现“一次编译、到处运行”的关键。JRE为程序提供运行环境,JDK则在JRE基础上提供编译、调试等开发工具;理解这种包含关系,有助于准确排查环境变量配置错误、java与javac版本不一致等常见问题。随着Java版本演进,LTS版本选择、JVM内存模型与调优参数(如-Xms、-Xmx、元空间设置)也直接影响线上服务的稳定性。在实际开发中,无论是下载安装JDK、配置 阅读详情

让我们不厌其烦的从内存模型开始说起:作为一般人需要了解到的,JVM的内存区域可以被分为:线程栈,堆,静态方法区(实际上还有更多功能的区域,并且这里说的是JVM的内存区域,实际上Java程序还可以调用native方法使用直接内存)。

本文接下来就重点说说这三个区域。

1. 线程栈

简介

注意这个栈和数据结构中的stack有相似之处,但并不是用户态的。准确的讲它压入的每个栈帧(Stack Frame)是程序指令以及局部变量表,每个方法调用对应一个栈帧。局部变量表包括各种基本数据类型:boolean、byte、char、short、int、float、long、double以及对象的引用。我们需要注意到每个线程都有独立的栈并且是互相隔离的。

栈的大小

栈的大小可以受到几个因素影响,一个是jvm参数 -XSS,默认值随着虚拟机版本以及操作系统影响,从Oracle官网上我们可以找到:

In Java SE 6, the default on Sparc is 512k in the 32-bit VM, and 1024k in the 64-bit VM. On x86 Solaris/Linux it is 320k in the 32-bit VM and 1024k in the 64-bit VM.

我们可以认为64位linux默认是1m的样子。

除了JVM设置,我们还可以在创建Thread的时候手工指定大小:

public Thread(ThreadGroup group, Runnable target, String name , long stackSize)

栈的大小影响到了线程的最大数量,尤其在大流量的server中,我们很多时候的并发数受到的是线程数的限制,这时候需要了解限制在哪里。

第一个限制在操作系统,以ubuntu为例,
/proc/sys/kernel/threads-max 和/proc/sys/vm/max_map_count 定义了总的最大线程数(根据资料windows总的来说线程数会更少)和mmap这个system_call的最大数量(也就是从内存方面限制了线程数)

第二个限制自然是在JVM,理论上我们能分配给线程的内存除以单个线程占用的内存就是最大线程数。所以说对Java进程来讲,既然分配给了堆,栈和静态方法区(或叫永久代,perm区),我们可以大致认为

线程数 = (系统空闲内存-堆内存(-Xms, -Xmx)- perm区内存(-XX:MaxPermSize)) / 线程栈大小(-Xss)

注意这只是帮助我们树立一个概念,实际上还有许多因素影响。

栈的大小还影响到一个就是如果单个栈超过了这个大小,就会抛出StackOverflowError,一般来说递归调用是常见的原因。

如何查看线程栈

使用命令 jstack <pid>可以列出当前pid对应jvm的所有线程栈描述,描述主要包括了每个线程的状态以及堆栈内各栈帧的方法全限定名,代码位置。注意这只是为了可阅读性,并不是说栈里存着的就是这些字符串。

截取一段tomcat的jstack输出(线程方面的知识可以参考另一篇拙作《Java多线程你只需要看这一篇就够了》,本文不再赘述):

JVM内存模型一篇文章带你通透

tomcat的jstack输出片段

2.堆和垃圾收集

堆的结构

对于大多数应用来说,Java 堆(Java Heap)是Java 虚拟机所管理的内存中最大的一块。Java 堆是被所有线程共享的一块内存区域,在虚拟机启动时创建。此内存区域的唯一目的就是存放对象实例,几乎所有的对象实例都在这里分配内存。

JVM内存模型一篇文章带你通透

分代的内存管理

首先堆可以划分为新生代和老年代。

JVM内存模型一篇文章带你通透

新生代

然后新生代又可以划分为一个Eden区和两个Survivor(幸存)区。

按照规定,新对象会首先分配在Eden中(如果对象过大,比如大数组,将会直接放到老年代)。在GC中,Eden中的对象会被移动到survivor中,直至对象满足一定的年纪(定义为熬过minor GC的次数),会被移动到老年代。

新生代 ( Young ) 与老年代 ( Old ) 的比例的值为 1:2 ( 该值可以通过参数 –XX:NewRatio 来指定 )

默认的,Eden : from : to = 8 : 1 : 1 ( 可以通过参数 –XX:SurvivorRatio 来设定 ),即: Eden = 8/10 的新生代空间大小,from = to = 1/10 的新生代空间大小。

然后讲讲垃圾收集

堆内存和垃圾收集是密不可分的两个主题,讲垃圾收集的资料很多,但总的来说讲的比较混乱,在这里我试图从一个系统的视角展示垃圾收集。

  • 垃圾收集的意义
  • 垃圾收集的出现解放了C++中手工对内存进行管理的大量繁杂工作,手工malloc,free不仅增加程序复杂度,还增加了bug数量。
  • 分代收集。即在新生代和老生代使用不同的收集方式。在垃圾收集上,目标主要有:加大系统吞吐量(减少总垃圾收集的资源消耗);减少最大STW(Stop-The-World)时间;减少总STW时间。不同的系统需要不同的达成目标。而分代这一里程碑式的进步首先极大减少了STW,然后可以自由组合来达到预定目标。
  • 可达性检测
  • 引用计数:一种在jdk1.2之前被使用的垃圾收集算法,我们需要了解其思想。其主要思想就是维护一个counter,当counter为0的时候认为对象没有引用,可以被回收。缺点是无法处理循环引用。目前iOS开发中的一个常见技术ARC(Automatic Reference Counting)也是采用类似的思路。在当前的JVM中应该是没有被使用的。
  • 根搜算法:思想是从gc root根据引用关系来遍历整个堆并作标记,称之为mark,等会在具体收集器中介绍并行标记和单线程标记。之后回收掉未被mark的对象,好处是解决了循环依赖这种『孤岛效应』。这里的gc root主要指:
  • a.虚拟机栈(栈桢中的本地变量表)中的引用的对象
  • b.方法区中的类静态属性引用的对象
  • c.方法区中的常量引用的对象
  • d.本地方法栈中JNI的引用的对象
  • 整理策略
  • 复制:主要用在新生代的回收上,通过from区和to区的来回拷贝。需要特定的结构(也就是Young区现在的结构)来支持,对于新生成的对象来说,频繁的去复制可以最快的找到那些不用的对象并回收掉空间。所以说在JVM里YGC一定承担了最大量的垃圾清除任务。
  • 标记清除/标记整理:主要用在老生代回收上,通过根搜的标记然后清除或者整理掉不需要的对象。

JVM内存模型一篇文章带你通透

整理的过程

JVM内存模型一篇文章带你通透

清除的过程

这里可以看到清除会产生碎片空间,对内存利用不是很好,但不是说整理优于清除,毕竟整理会更慢。比如CMSGC就是使用清除而不是整理的。

思考一下复制和标记清除/整理的区别,为什么新生代要用复制?因为对新生代来讲,一次垃圾收集要回收掉绝大部分对象,我们通过冗余空间的办法来加速整理过程(不冗余空间的整理操作要做swap,而冗余只需要做move)。同时可以记录下每个对象的『年龄』从而优化『晋升』操作使得中年对象不被错误放到老年代。而反过来老年代偏稳定,我们哪怕是用清除,也不会产生太多的碎片,并且整理的代价也并不会太大。

  • 具体的垃圾收集器
  • 新生代收集器:有Serial收集器、ParNew收集器、Parallel Scavenge收集器
  • 老生代收集器:Serial Old收集器、Parallel Old收集器、CMS收集器、G1收集器

JVM内存模型一篇文章带你通透

垃圾收集器大家庭

以上所有的垃圾收集器都会发生STW,只不过FGC的STW时间更长。

几款重点研究的垃圾收集器:

CMSGC:

CMS(Concurrent Mark-Sweep)是以牺牲吞吐量为代价来获得最短回收停顿时间的垃圾回收器。对于要求服务器响应速度的应用上,这种垃圾回收器非常适合,因此我们又叫它低延迟垃圾收集器。在启动JVM参数加上-XX:+UseConcMarkSweepGC ,这个参数表示对于老年代的回收采用CMS,注意此时新生代默认使用的是ParNew。CMS采用的基础算法是:标记—清除。

JVM内存模型一篇文章带你通透

MSCGC vs CMSGC

和普通序列化整理(MSC)区别在于有三个mark阶段(实际上还有个预清理过程,但对于解释清楚CMSGC没有帮助就忽略了)。CMSGC的精髓在于因为做到了不STW的情况下进行mark,我们得到了更短的总STW时间,代价是因为并行mark产生了『脏数据』即在mark的同时又生成了需要mark的对象,我们必须再进行一次STW,并收尾(remark)。

同时,我们要注意到得到更短的STW的同时,我们牺牲了系统吞吐量,CMSGC总吞吐量比ParOld要更低。

G1GC

作为最新的垃圾收集器,有可能在jdk9中成为默认的垃圾收集器。

主要思路是将新生代老生代进一步分为多个region,每次gc可以针对部分region而不是整个堆内存。由此可以降低stw的单次最长时间,代价是可能在总时间上会更高。

G1GC让系统在整体吞吐量略降的情况下变得更加平滑稳定。

JVM内存模型一篇文章带你通透

为了比较ParOld,CMSGC和G1GC,附上从某篇博客上转载的评测截图:

JVM内存模型一篇文章带你通透

静态方法区

最后讲一讲静态方法区,又称为永久代(Perm Generation)。它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据。

常见的JVM配置包括:

-XX:MaxPermSize=512m

我们有时候会看到java进程报一个错误类似

Exception in thread "State Saver" java.lang.OutOfMemoryError: PermGen space

说明我们此时要调整配置了,或者说代码中有一些bug导致大量的perm区被占用,可能是用到了太多的静态变量(一般怀疑map)或者说用到ASM框架导致产生了大量的类信息。

附录

1.JVM的GC日志的主要参数

-XX:+PrintGC 输出GC日志

-XX:+PrintGCDetails 输出GC的详细日志

-XX:+PrintGCTimeStamps 输出GC的时间戳(以基准时间的形式)

-XX:+PrintGCDateStamps 输出GC的时间戳(以日期的形式,如 2013-05-04T21:53:59.234+0800)

-XX:+PrintHeapAtGC 在进行GC的前后打印出堆的信息

-XX:+
PrintGCApplicationStoppedTime // 输出GC造成应用暂停的时间

-Xloggc:../logs/gc.log 日志文件的输出路径

-XX:+
HeapDumpOnOutOfMemoryError //发生OOM的时候自动dump堆栈方便分析

2.如何看垃圾收集策略

jmap -heap <pid>

3.如何实时看堆内存的使用情况

jstat -gcutil [pid] [interval] //实时打印gc情况以及各代内存占用比例

jmap -dump:format=b,file=f1 <pid> //dump内存到二进制文件

jmap -histo [pid] //按占大小倒序列出内存中的实例类型

4.关于晋升到老年代的条件

对象有两种可能会进入old区:

  • 存活对象过多。在s1和s2都已经溢出了。如果从eden迁往survior区时,发现放不下,则直接进入 old Gen
  • 从eden到s区来回拷贝次数达到一定的数量,总没有回收掉,进入old区。(从eden到survior1迁到,引用持有中,s1中放不下新迁对象,则清理s1,存活对象,晋升入s2;再下次或继续迁移,就把s2中的。准备说,可能是,这些个对象从s1<->s2来回拷贝一定次数后,会进入old Gen)。这块Servivor Space 调整合适的存活次数 Threshold 通过-XX:MaxTenuringThreshold。但也只是一个建议,最终仍由虚拟机决定
Go语言并发编程:从volatile原理到内存模型与职业发展思考 在并发编程中,内存可见性和指令重排序是核心挑战,它们源于计算机体系结构的多级缓存和编译器优化机制。理解这些底层原理对于构建高性能、高可靠的并发系统至关重要。通过内存屏障和同步原语,现代编程语言提供了解决这些问题的技术方案,例如保证操作的原子性和顺序一致性。在实际工程中,这些技术被广泛应用于高并发服务、分布式系统和性能敏感场景,确保数据一致性和系统稳定性。本文围绕Go语言的并发模型,探讨了为何它无需volatile关键字,并通过sync包和channel等机制,自然融入了对内存可见性和指令重排序的处理,帮助开 阅读详情

相关推荐

手把手教你用RC桥式振荡器生成1Hz-1MHz正弦波(附完整电路图)

本文详细介绍了如何从零构建RC桥式振荡器,实现1Hz-1MHz正弦波的生成。通过核心元件选型、参数设计、电路搭建与优化等步骤,帮助读者掌握振荡器的工作原理和实战技巧。特别适合电子实验和信号处理领域的初学者和工程师,附完整电路图和常见问题解决方案。

weixin_30338481的博客 471

【JVM】JVM内存模型(详细)

JVM内存模型(详细)

酷酷的馫博客 5万+

三大主流交易接口实战指南:XTP、CTP与数字货币API的实盘接入解析

本文深入解析了量化交易系统实现实盘交易的关键环节,聚焦于三大主流交易接口的实战接入。详细介绍了证券领域的XTP、期货领域的CTP以及数字货币交易所API的核心特性、代码封装要点与风控实践,并提供了多市场接口整合的统一架构方案,为开发者打通量化交易的“最后一公里”提供了一份接地气的实战指南。

win55的博客 1380

JVM内存模型

JVM内存模型包括:程序计数器、本地方法栈、虚拟机堆(线程)、线程栈、方法区(元空间),程序计数器、线程栈、本地方法栈是每个线程所独有的。 1. 线程栈 JVM的每一个线程对应一个线程栈,一个线程的每个方法会分配一块栈帧内存空间。栈帧中包含:局部变量表、操作数栈、动态链接和方法出口。 2. 本地方法栈 运行本地方法的空间,也就是native本地方法运行时的一块空间。3. 程序计数器 程序计数器是用于存放下一条指令所在单元的地址的地方。...

weixin_48268269的博客 4万+

在 Zemax 非序列模式下建立干涉仪模型

Zemax 利用其相干检测功能,将到达探测器的射线的能量相干地组合起来,同时考虑每条检测到的射线的幅度和相位。从对这些干涉条纹的定量评估来看,光学干涉仪具有广泛的应用,包括在天文学中用于测量天体的大小,在计量学中用于精确测量距离,在显微镜中用于提高分辨率,以及在物理和工程的各个领域中用于检测条件的微小变化。在光学干涉仪中,使用的是光波。非相干和相干相加的总功率是守恒的,但相干光束的峰值辐照度应该是非相干光束总和的 2 倍,这是理所当然的。请注意,条纹的缺失是显而易见的,因为不再从相干的角度观察探测器。

jkh920184196的博客 2382

VCSA 6.7证书过期别慌!手把手教你通过SSH修改系统时间恢复登录(附STS证书修复脚本)

本文详细介绍了VCSA 6.7证书过期的应急处理方案,包括通过SSH修改系统时间临时恢复登录、全面更新证书体系以及专项修复STS证书的实战步骤。文章还提供了后期验证和系统加固的建议,帮助运维人员有效应对证书过期问题,确保虚拟化平台的稳定运行。

weixin_31292729的博客 418

JVM内存模型一篇文章带你通透(1),netty入门书籍推荐

三个工作日收到了offer,头条面试体验还是很棒的,这次的头条面试好像每面技术都问了我算法,然后就是中间件、MySQL、Redis、Kafka、网络等等。第一个是算法关于算法,我觉得最好的是刷题,作死的刷的,多做多练习,加上自己的理解,还是比较容易拿下的。而且,我貌似是将《算法刷题LeetCode中文版》、《算法的乐趣》大概都过了一遍,尤其是这本。

code8889的博客 801

汽车诊断之UDS入门-0x19 0x0A服务

0x19 0x0A解析

weixin_44842720的博客 3837

Java程序员必备的全套JVM核心技术点整理,拿走不谢

所以我建议你看文章博客,不能只看一篇,通透的、连续的学习,效果才是最佳的。相信各位在面试的时候有不少人让JVM给挡住了offer,因为有前车之鉴,我在去面试前做好了充足的准备,网上大肆的搜集相关面试资料,自己整理,筛选出了面试期间出现频率最高的题目,在这里分享出来,希望能让各位看到的朋友避开那些坑,拿到心仪的offer!

the shy 166

PowerDesigner 数据库建模使用详解

PowerDesigner 数据库建模使用详解

congge 7082

基于Transformer的股票市场多因子量化选股模型,深度解析:基于Transformer的股票市场多因子量化选股模型

传统多因子模型通常采用线性回归、岭回归或Lasso回归来估计因子权重,其核心假设是因子与未来收益之间存在线性关系。然而,现实中的股票市场具有典型的非线性、非平稳和高噪声特征。卷积神经网络(CNN)擅长提取局部特征,但难以捕捉全市场股票之间的全局依赖关系;循环神经网络(RNN)及其变体LSTM虽然能处理时间序列,但存在梯度消失问题且难以并行计算。Transformer的self-attention机制能够:直接建模任意两只股票之间的相关性动态计算因子权重而非静态线性组合。

YOLO 251

JVM学习笔记(13) 第五部分 高效并发 第12章 Java内存模型与线程

硬件的效率与一致性:CPU与内存的速度差催生了高速缓存和乱序执行,也带来了缓存一致性和指令重排序问题——这是并发编程复杂性的物理根源。Java内存模型:通过主内存与工作内存的抽象屏蔽硬件差异,通过8种原子操作定义内存交互协议。volatile保证了可见性和有序性但不保证原子性,synchronized同时保证了三大特性。先行发生原则:JSR-133提出的Happens-Before规则是理解JMM的核心——它把底层复杂的协议抽象为几条直观的因果关系,程序员只需要关注“谁在谁之前发生”即可。

qq_37763312的博客 430

QCC304x系列开发教程(实战篇)之5.2 QCC3040之提示音

earbud_init.c中,初始化table中UiPrompts_Init /*! \brief Table of initialisation functions */ static const init_table_entry_t appInitTable[] = { ......... {UiPrompts_Init, 0, NULL}, ......... } ui_prompts.c中是提示音音处理的主要逻辑和配置源文件 函数static void uiPro...

心跳包的博客 2395

Java执行环境与执行过程:从字节码到JVM内存模型

Java总是被贴上“跨平台”的标签,但其底层真正支撑这一特性的关键,在于从源代码到字节码再到机器指令的执行链路。程序员通过javac把.java文件编译成与操作系统无关的.class字节码,再由JVM在运行时加载、验证并执行。JVM内部的设计直接影响了程序的性能与稳定性:解释器负责启动时的快速响应,JIT编译器则通过热点检测把高频方法编译成本地机器码,实现动态加速。与此同时,运行时数据区划分了堆、栈、方法区等不同区域,类加载机制通过双亲委派确保核心库安全,而理解这些结构是排查线上内存溢出(OOM)、CPU飙

weixin_29758911的博客 291

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

JVM内存模型与运行时数据区深度解析:从堆栈到元空间

在Java应用开发与性能调优中,理解JVM内存模型是排查线上故障、优化GC表现的基础。运行时数据区按线程私有与共享划分为程序计数器、虚拟机栈、本地方法栈、堆、方法区等核心部分,各自承载不同的数据生命周期与职责。其中,堆是对象分配与垃圾回收的主战场,方法区在JDK 8后由元空间实现,避免永久代溢出风险;直接内存虽不属于运行时数据区,却常因Netty等框架的高频使用而成为OOM盲区。掌握各分区的作用原理、参数配置与异常表现,能帮助开发者快速定位StackOverflowError、Metaspace溢出等问题,

weixin_31309419的博客 61

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

JVM类加载与内存模型核心原理及线上问题排查实战

从Java开发者高频遇到的"找不到或无法加载主类"问题切入,深入讲解JVM类加载机制的三段式生命周期与双亲委派模型,并剖析字节码增强技术的落地方式。随后系统梳理运行时数据区、JMM内存模型的设计原理,解释可见性、原子性、有序性问题的根源。结合GC回收器原理与内存分配策略,给出OOM排查流程和jstat、jmap、Arthas等工具实战经验。帮助读者建立完整的JVM知识体系,提升线上故障定位效率。

weixin_34054866的博客 350

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

JVM内存模型完全指南:从堆栈原理到线上OOM排障实战

Java程序运行时的内存管理是性能优化与故障排查的基石,而JVM内存模型正是理解这一切的钥匙。本文从内存区域的划分逻辑切入,剖析堆、虚拟机栈、方法区及直接内存的设计原理与协作机制,帮助开发者建立对对象分配、引用传递和垃圾回收的整体认知。掌握这些概念,你就能读懂jstat与jmap的输出,理解Full GC频繁触发的根因,并借助Arthas、MAT等工具快速定位内存泄漏或栈溢出问题。文章结合线上真实案例,展示从堆内存爆满到元空间膨胀的典型场景与排查路径,将抽象规范落地为可操作的工程经验。无论是准备JVM调优面

weixin_32308101的博客 181

牛掰,阿里架构师熬夜肝了一份JVM必知必会,哪里不会查哪里

种一棵树最好的时间是十年前,其次是现在很多程序员一开始在学习上找不到方向,但我想在渡过了一段时间的新手期之后这类问题大多都会变得不再那么明显,工作的方向也会逐渐变得清晰起来。大多数人每天能留给自己学习的时间有限,这个阶段如何提升学习效率就成了要解决的重点。说说自己提升学习效率的心得,其实非常简单:体系化的学习。我曾经很喜欢看一些博客或者是一些 “看起来” 比较通俗易懂的文章,每天在微博微信里刷到什么技术文章就 mark 下来,基本上几分钟就能读完。

the shy 104

Java内存结构与内存模型:从运行时数据区到volatile可见性,一文分清

并发编程中,线程安全与数据可见性始终是开发者绕不开的核心议题。理解现代CPU多级缓存与指令重排的硬件背景,是掌握Java并发原理的基础。Java虚拟机通过运行时数据区划分堆、栈、方法区等内存结构,解决数据存储与回收问题;而Java内存模型(JMM)则定义主内存与工作内存的交互规则,用happens-before关系约束多线程读写行为。volatile关键字通过禁止重排序与强制刷新主内存,保证可见性与有序性,但不保证原子性。在实际工程中,OOM与GC调优依赖内存结构知识,而DCL单例、死循环等诡异并发故障则需

weixin_33563728的博客 295

这份JVM高级笔记,我打赌你没看过,玩转Java虚拟机

种一棵树最好的时间是十年前,其次是现在很多程序员一开始在学习上找不到方向,但我想在渡过了一段时间的新手期之后这类问题大多都会变得不再那么明显,工作的方向也会逐渐变得清晰起来。大多数人每天能留给自己学习的时间有限,这个阶段如何提升学习效率就成了要解决的重点。说说自己提升学习效率的心得,其实非常简单:体系化的学习。我曾经很喜欢看一些博客或者是一些 “看起来” 比较通俗易懂的文章,每天在微博微信里刷到什么技术文章就 mark 下来,基本上几分钟就能读完。

知识分享官 158

从JVM运行时视角读懂Java基础概念:内存、集合与面向对象

Java习得的过程常止步于语法,真正的根基在于理解数据在内存中如何被组织与流动。JVM运行时将代码划分为栈与堆两大区域,基本类型作为值直接存放,引用类型则通过指针指向堆中的对象。基于这一内存视角,集合框架的设计逻辑、String的不可变性、面向对象的多态分派、异常与泛型的边界行为,都成为可推导的必然结果而非背诵条目。日常开发中排查线上Bug、优化循环拼接字符串、设计集合容量、分析并发修改异常,均依赖于这套底层认知。从内存模型出发,将散点知识串联成体系,是掌握Java基础并通向高级特性的高效路径。本文即以运行

weixin_32075843的博客 297
上一篇: JVM的持久代何去何从?
下一篇: SpringSecurity实现数据库认证
Javaesandyou
博客等级 码龄5年 742粉丝 563原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值