java VisualVM辅助分析GC日志

JVM系列之:日志分析工具:GCViewer、VisualVM、GCeasy 本文为《深入学习 JVM 系列》第二十四篇文章 GCViewer GCViewer 是一个可以将 JVM 中的 gc log 可视化的工具,使用该工具可以帮助你充分的发现 JVM 垃圾回收中的潜在问题,让你可以更加准确的做出关于 JVM GC 优化的决策。 安装并启动 git clone https://github.com/chewiebug/GCViewer.git //或者用 IDEA打开项目后,用 maven进行打包 mvn clean pacakge //得到一个 jar包 cd target. 阅读详情

还是上一篇的代码。这次试用java visualVM和Visual GC,来分析每一次GC对于堆的影响。后面总结了一些有趣的结论。

package com.company;

import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;

public class Main {

    public static void main(String[] args) {
        Scanner scanner = new Scanner(System.in);
        String in = scanner.nextLine();

        List<Integer> lInt=new ArrayList<>();
        int num=10000000;
        int max2=num+num;
        int max3=max2+num;
        long time0=System.currentTimeMillis();
        for(int i=0;i<num;i++){
            lInt.add(i);
        }
        System.out.println("first : "+(System.currentTimeMillis()-time0));

        //lInt.clear();
        long time1=System.currentTimeMillis();
        for(int i=num;i<max2;i++){
            lInt.add(i);
        }
        System.out.println("first : "+(System.currentTimeMillis()-time1));


        //lInt.clear();
        long time2=System.currentTimeMillis();

        for(int i=max2;i<max3;i++){
            lInt.add(i);
        }
        System.out.println("first : "+(System.currentTimeMillis()-time2));

    }
}

没有任何VM内存的参数设定,只是输出GC情况:

"C:\Program Files\Java\jdk1.8.0_221\bin\java.exe" -XX:+PrintGCDetails -XX:+PrintGCTimeStamps "-javaagent:D:\javaDev\JetBrains\IntelliJ IDEA 2019.2.1\lib\idea_rt.jar=56763:D:\javaDev\JetBrains\IntelliJ IDEA 2019.2.1\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_221\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\deploy.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\access-bridge-64.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\cldrdata.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\dnsns.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\jaccess.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\jfxrt.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\localedata.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\nashorn.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\sunec.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\sunjce_provider.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\sunmscapi.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\sunpkcs11.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\ext\zipfs.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\javaws.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\jce.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\jfr.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\jfxswt.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\jsse.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\management-agent.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\plugin.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\resources.jar;C:\Program Files\Java\jdk1.8.0_221\jre\lib\rt.jar;C:\Users\che101ast\IdeaProjects\TestOSR\out\production\TestOSR" com.company.Main
171.372: [GC (Allocation Failure) [PSYoungGen: 33280K->2360K(38400K)] 33280K->2376K(125952K), 0.0073926 secs] [Times: user=0.00 sys=0.00, real=0.01 secs] 

309.028: [GC (Allocation Failure) [PSYoungGen: 33433K->5110K(38400K)] 33449K->12894K(125952K), 0.0227113 secs] [Times: user=0.05 sys=0.02, real=0.02 secs] 
309.066: [GC (Allocation Failure) [PSYoungGen: 38390K->5096K(38400K)] 46174K->36178K(125952K), 0.0532345 secs] [Times: user=0.19 sys=0.00, real=0.05 secs] 
309.135: [GC (Allocation Failure) [PSYoungGen: 33197K->5096K(71680K)] 64279K->62957K(159232K), 0.0576907 secs] [Times: user=0.20 sys=0.03, real=0.06 secs] 
309.193: [Full GC (Ergonomics) [PSYoungGen: 5096K->0K(71680K)] [ParOldGen: 57861K->55705K(125952K)] 62957K->55705K(197632K), [Metaspace: 9662K->9662K(1058816K)], 0.9557118 secs] [Times: user=2.02 sys=0.01, real=0.96 secs] 
310.185: [GC (Allocation Failure) [PSYoungGen: 66560K->5120K(71680K)] 122265K->105334K(197632K), 0.0947620 secs] [Times: user=0.38 sys=0.00, real=0.09 secs] 
310.279: [Full GC (Ergonomics) [PSYoungGen: 5120K->0K(71680K)] [ParOldGen: 100214K->94591K(201728K)] 105334K->94591K(273408K), [Metaspace: 9662K->9662K(1058816K)], 1.1738484 secs] [Times: user=2.56 sys=0.01, real=1.17 secs] 
311.488: [GC (Allocation Failure) [PSYoungGen: 66560K->59383K(150528K)] 161151K->160406K(352256K), 0.1491100 secs] [Times: user=0.42 sys=0.02, real=0.15 secs] 
first : 2708
311.745: [Full GC (Ergonomics) [PSYoungGen: 150519K->43796K(150528K)] [ParOldGen: 155106K->201676K(329728K)] 305625K->245473K(480256K), [Metaspace: 9662K->9662K(1058816K)], 2.7758059 secs] [Times: user=7.09 sys=0.02, real=2.78 secs] 
314.604: [Full GC (Ergonomics) [PSYoungGen: 91136K->0K(150528K)] [ParOldGen: 282800K->319292K(481792K)] 373936K->319292K(632320K), [Metaspace: 9662K->9662K(1058816K)], 2.3526426 secs] [Times: user=7.75 sys=0.00, real=2.35 secs] 
first : 5288
317.096: [Full GC (Ergonomics) [PSYoungGen: 91136K->0K(150528K)] [ParOldGen: 440978K->450532K(647168K)] 532114K->450532K(797696K), [Metaspace: 9662K->9662K(1058816K)], 3.2777666 secs] [Times: user=10.81 sys=0.00, real=3.28 secs] 
320.421: [GC (Allocation Failure) [PSYoungGen: 91136K->76800K(174592K)] 541668K->541452K(821760K), 0.5873119 secs] [Times: user=2.17 sys=0.08, real=0.59 secs] 
first : 4035
Heap
 PSYoungGen      total 174592K, used 129687K [0x00000000d5d80000, 0x00000000e8e00000, 0x0000000100000000)
  eden space 97792K, 54% used [0x00000000d5d80000,0x00000000d9125ea8,0x00000000dbd00000)
  from space 76800K, 100% used [0x00000000dbd00000,0x00000000e0800000,0x00000000e0800000)
  to   space 100352K, 0% used [0x00000000e2c00000,0x00000000e2c00000,0x00000000e8e00000)
 ParOldGen       total 647168K, used 464652K [0x0000000081800000, 0x00000000a9000000, 0x00000000d5d80000)
  object space 647168K, 71% used [0x0000000081800000,0x000000009ddc33d8,0x00000000a9000000)
 Metaspace       used 9670K, capacity 10028K, committed 10240K, reserved 1058816K
  class space    used 1114K, capacity 1196K, committed 1280K, reserved 1048576K

Process finished with exit code 0

运行的同时,用java visualVM进行内存的监测,用到了Visual GC。Visual GC的采样间隔是100ms截图如下

用GC的log和visual GC进行对比非常不直观,就专门做了一个excel辅助对比。

其中old(in log)这列的数值是根据gc log中数值录入的old数值(full GC的log包含了old的变化数值)。

old列是heap 减去 young,计算出来的,同时也能够跟old(in log)互相印证。

interval是本次GC花的时间。

excel中一共列出了10次GC,而log中是12次GC,头两次GC的分析价值不大,就没有列到excel中。

每次GC有两行,第一行是GC开始时候的状态,第二行是结束时候的状态。

截图如下:

从上面的图就能非常直观的看到每一次GC和对应的堆内存变化。

有几个有趣的点:

1 第8次GC是full GC,持续了2.35秒,但是从内存的图来看,2.35秒中的绝大部分时间中,eden,servivor和old都没有变化,等到快结束了的时候young变为0,old从282800 ->319292。是不是,2.35秒的大部分时间都是用来标记哪些对象要挪到old,标记完成后,再一次性挪过去?

2 第8次GC开始时候old的容量是282800,第7次结束时old的容量是201677,在连续两次full GC之间old的容量是增长的。是否说明,jvm也会直接把object创建到old上?

   6 -> 7, 7 -> 8, 8 -> 9都会出现两次GC之间old容量增长。有点儿搞不懂,什么情况下会直接使用Old部分。

3 第一次GC不是full GC,但是依然会增长old,所以也不能说minor GC就只是young generation的事情。

   似乎只能断定,不是full GC,就肯定不会清理old,但是在清理young的时候,依然有可能往old中copy

4 第9次GC,young变成的0,释放了91M的容量,但是old并没有相应增加91M,释放的都是那些对象?

5 还是第8次GC,eden变为0,但是survivor没有增加,而是old有增加,所以,应该是把一部分eden上的对象直接挪到了old中,而不是先放到survivor中,等对象存活几次后再挪到old中。

6 jdk是1.8,young gen的GC算法是parallel scavenge,所以PSYoungGen

  old gen的GC算法是parallel old gen,所以ParOldGen

7 还是第8次GC,young gen变为0之后,非常快,也就0.1秒左右,eden又满了,不得不进行第9次GC。从这个现象可以看出,似乎申请内存并创建对象,比GC要快的多。

full GC需要对所有对象进行扫描,判断该对象是否还被引用,所以随着对象数量的增长,这个扫描花费的时间也是线性增长的。从第一次full gc的0.95秒都最后一次的3.28秒。

第8次GC和第9次GC之间新创建的对象肯定小于2千万个,应该在1千万以内,大概花了0.1秒,但是full gc扫描2千多万个对象花了差不多3秒,结合上一篇博文,没有GC的情况下,创建1千万个对象差不多0.3秒。因此,可以得出结论是,full gc扫描对象相比创建对象更耗时。可能是因为要分析对象之间的引用关系(可达性分析)

从内存泄漏到GC调优:用VisualVM+IDEA插件实战分析一个‘吃内存’的Java程序 本文详细介绍了如何使用VisualVM和IDEA插件分析Java程序中的内存泄漏问题,并通过GC调优提升性能。通过实战案例演示了从问题发现到解决的全过程,包括工具配置、内存监控、堆转储分析和代码优化,帮助开发者掌握Java性能调优的关键技能。 阅读详情

相关推荐

别再只用打印日志了!用VisualVM给IDEA项目做个实时性能体检(附GC插件安装)

本文介绍了如何利用VisualVM工具为Java项目进行实时性能分析,替代传统的打印日志调试方法。通过安装VisualVM插件和Visual GC插件,开发者可以在IDEA中直观监控CPU、内存等关键指标,快速定位性能瓶颈和内存泄漏问题,提升调试效率。

crhwkrhpunow61910的博客 370

jvisualvm定位JVM内存溢出,死锁,分析GC日志

OOM定位 创造一个会OutOfMemoryError的程序 import java.util.LinkedList; import java.util.List; public class OutOfMemoryDump { /** * JVM 参数 * -Xms10m -Xmx10m -XX:+PrintGCDetails -XX:+HeapDumpOnOu...

BLF2 2309

VisualVM插件VisualGC保姆级教程:从安装到看懂GC日志(适合JDK8+)

本文详细介绍了VisualVM的VisualGC插件从安装到GC日志解读的全过程,帮助开发者掌握JVM内存调优的核心技能。通过实战案例和高级技巧,展示如何利用VisualGC进行内存泄漏诊断和性能优化,特别适合JDK8+环境下的Java开发者。

weixin_42523792的博客 352

JVisualVM、Visual GC

最大 84M ,实际分配内存:61M ,当前使用了 27.092M , 15 次 的 GC 共使用了 125.394毫秒。最大内存 171M 实际分配了 41M ,当前使用 27.476M , 2次的 GC ,共使用了104.015毫秒。之间,并且我的是jdk8版本,所以我选择JDK 8 Update 40-121,点击对应蓝色链接即可。线程dump – 此按钮主要生产当前程序中所有线程的快照(对分析线程死锁,比较有帮助)最大内存 1.029G 实际分配了 41.25M ,当前使用了 38.603M。

m0_56799642的博客 1621

SQLite → PostgreSQL 迁移脚本与踩坑清单

本文提供了SQLite迁移到PostgreSQL的两种可靠路径:首选使用pgloader工具自动转换schema和数据,支持类型映射和并行复制;备选方案通过sqlite3导出CSV再用PostgreSQL的COPY命令导入,适合需要自定义清洗的场景。重点介绍了数据类型映射规则、迁移步骤、校验方法和常见问题,包括自增主键、布尔值、时间类型等关键差异处理。迁移后需进行行数核对、哈希抽样等校验,并给出了性能优化建议。最后强调迁移不仅是数据转移,更需要同步升级数据模型和索引策略,根据业务场景选择合适的数据库方案。

aifs2025的博客 1887

国家医保移动支付国密算法SM2签名验签、SM4加解密DLL

DLL,非.net开发,所以无需安装配置,直接程序引用开发即可,支持各类开发语言。已知省份有广西、贵州、安徽、河北、黑龙江、湖南、吉林、江苏、四川、新疆等各地方。国家医保移动支付国密算法SM2签名验签、SM4加解密DLL。//SM4加密与解密。支持医保移动支付(国家统一版),//SM2签名与验签。

4266

【Java 虚拟机原理】垃圾回收算法( Java VisualVM 工具 | 安装 Visual GC 插件 | 使用 Java VisualVM 分析 GC 内存 )

一、Java VisualVM 工具安装 Visual GC 插件、 二、使用 Java VisualVM 分析 GC 内存

让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 ) 1729

DrissionPage实战:5分钟搞定京东滑块验证码自动登录(附完整轨迹生成代码)

本文详细介绍了如何使用DrissionPage工具实现京东滑块验证码的自动化登录,包括环境配置、滑块缺口识别、拟人化轨迹生成算法及完整登录流程。通过物理运动学模型和智能识别技术,有效提升验证码破解成功率,适用于电商自动化场景。

weixin_29229055的博客 245

深入JVM学习之VisualVM 工具分析GC

深入JVM学习之VisualVM 工具分析GC VisualVM:多合一故障处理工具 VisualVM是到目前为止随JDK发布的功能最强大的运行监视和故障处理程序,并且可以预见在未来一段时间内都是官方主力发展的虚拟机故障处理工具。他除了运行监视,故障处理外,还提供了很多其他方面的功能。如性能分析等 VisualVM基于NetBeans平台开发,因此它一开始就具备了插件扩展功能的特性,通过插件扩展支...

dailingnan0827的博客 1993

sap销售发货的流程_SAP销售订单发货后如何实现发票的自动创建?

问SAP销售订单发货后如何实现发票的自动创建?答业务场景有些快消零售企业,SAP系统单据量大,单据金额少,一般在销售发货后即可确认收入。此时无需人工在系统内操作VF01或者VF04进行开票操作,可将该操作设置成后台作业进行自动批量开票,具体操作如下:1、定义任务:VF06输入完以上信息,点击保存进入以下界面:说明:当前日期的意思是“开票的日期”等于“系统电脑中的当前日期”当前日期+/-...

weixin_42358409的博客 3372

FPGA和USB3.0通信知识记录(1)——基于特权同学图书《Xilinx FPGA伴你玩转USB3.0与LVDS》

大家好,我是一个新人,请多多关照! 我的毕业论文选题和特权同学《Xilinx FPGA伴你玩转USB3.0与LVDS》图书相关,所以在学习这本书的同时,做一下记录。 第一章:FPGA、USB和LVDS概述 1.1~1.4 都在介绍FPGA的发展历史、应用领域和开发流程。 1.5 USB接口概述 (1)发展史:20世纪90年代末,计算机开始集成USB接口。USB1.1最高速度大12Mb/s;USB2.0最高480Mb/s;USB3.0将文件传输速度提升至5Gb/s。而USB取代的是图1“大家伙”.

qq_44974246的博客 3027

java VisualVM辅助分析GC日志 II

上一篇提出了几个问题,经过进一步的学习,在这里做些解答: 1 问题4,young中减少的容量没有全部加到old中,中间少的部分是什么? --参考:https://blog.youkuaiyun.com/u010267179/article/details/21785887 ArrayList实际就是一个数组,容量不够就增加当前容量的0.5倍+1,所以每次也是从heap上申请一大块内容(就有可能直接放到...

wingnet 584

S32K314 EB配置MCAL全模块讲解【Autosar——1 MCU模块详解】持续更新中

FIRC(fast internal RC Oscillator) :高速内部时钟,固定48MHZ;SIRC(Slow Internal RC Oscillator):低速内部时钟,固定32KHZ;FXOSC(Fast Crystal Oscillator Digital Controller):高速外部晶振(8-40MHZ),根据原理图选型进行配置;SXOSC():外部低速外部时钟,固定输入32.768KHZ;PLL_PHIn_CLK:时钟倍频锁相环时钟范围(640-1280MHZ);

qq_40488886的博客 1786

探究 JVM 的垃圾回收日志分析与诊断技巧

通过对垃圾回收日志的分析和诊断,我们可以发现程序中存在的内存问题,优化垃圾回收策略,从而提高程序的性能。通过开启垃圾回收日志记录,深入解读日志信息,运用分析和诊断技巧,结合工具辅助分析,我们可以及时发现程序中存在的内存问题,调整垃圾回收策略,从而提高程序的性能和稳定性。可以通过分析垃圾回收日志中的对象晋升情况,结合工具(如 VisualVM、MAT 等)进行堆转储文件分析,找出泄漏的对象和原因。垃圾回收日志通常包含多个垃圾回收事件的记录,每个记录包含了垃圾回收的时间、类型、回收前后的内存使用情况等信息。

潜意识Java的博客 1091

建设银行核心系统建设历程全网最详细记录

中国建设银行核心系统数字化转型之路 摘要:中国建设银行自1954年成立以来,其核心系统经历了从分散到集中、再到分布式架构的演进历程。2002-2005年完成的数据大集中工程(DCC)实现了全行业务统一管理,2010年启动的"新一代核心系统"构建了企业级架构,率先实现"一次研发,全行共享"。2020年起全面推进主机下移战略,通过分布式架构改造,攻克八大关键技术难题,于2024年7月完成境内外全量核心业务下移,日均同步数据8亿条,实现金融核心系统完全自主可控。这一转型不仅

银行信息系统应用架构详解 4876

《HiVT: Hierarchical Vector Transformer for Multi-Agent Motion Prediction》论文阅读之HiVT

目录摘要1.介绍2.相关工作3.方法3.1. 总体框架3.2 场景表示 3.3 分层向量Transformer3.3.1 局部编码器3.3.2 全局交互模块3.3.3 多模态未来解码器3.4 训练4.实验4.1 实验设置4.2 消融研究 4.3. 结果5.结论 准确预测周围交通参与者的未来运动对于自动驾驶车辆的安全至关重要。最近,矢量化方法由于能够捕捉交通场景中的复杂交互而在运动预测领域占据主导地位。然而,现有的方法忽略了问题的对称性并且受到昂贵的计算成本的影响,面临着在不牺牲预测性能的情况

Gavinmiaoc的博客 3340

[java] GC (Allocation Failure)日志分析

Table of Contents 概述 JConsole VisualVm GC日志 GC日志分析 概述 博主在最近使用spring batch的过程当中遇到了内存容量耗尽程序崩溃的问题,于是决定将此次的内存问题分析通过本篇博客记录下来。 在分析gc日实例志之前,我们先通过一条《深入理解java虚拟机》一书中的一个例子gc日志来回顾一下gc日志的基本知识,下面是一条gc日志: ...

topdeveloperr的博客 2万+

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

VisualVM 分析日志

VisualVM 分析 Java heap space dump 日志教程演示

小凯的博客 1042

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

java打印内存堆栈日志、gc垃圾回收、heap日志查看等、visualVm等

java打印内存堆栈日志、gc垃圾回收、heap日志查看等、visualVm等

enthan809882的博客 2241

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Spark GC日志分析

了解 Java VisualVM 分析gc日志

南风知我意 1630

【Java内存泄漏排查指南】:GC日志分析+实战工具链全曝光

掌握Java内存泄漏排查全方法,结合GC日志分析与主流工具链实战应用,适用于高并发、长时间运行服务场景。精准定位内存问题,提升系统稳定性,加入java程序员节交流群获取完整指南,值得收藏。

PoliVein的博客 1021

java知识:什么是GC?GC调优思路又有哪些

VisualVM是一个功能强大的多合一Java故障诊断和性能监控的可视化工具。它集成了多个JDK命令行工具,同时提供了可视化的界面,使得JVM性能监控和调优变得更加直观和方便。

w1990xw的博客 1851

Java面试题--JVM大厂篇之JVM监控与GC日志分析:优化Parallel GC性能的重要工具

这篇博文将带你走进GC的“秘密花园”,通过实战操作和案例分析,教你如何有效优化Parallel GC,通过有效的JVM监控和GC日志分析,我们可以深入了解Parallel GC的工作原理,找到性能瓶颈,进行针对性的调优。记住,调优是一场与性能的“较量”,而我们要做的,就是用正确的方法赢得这场胜利。首先,要优化GC性能,我们必须学会阅读和分析GC日志。举例来说,使用VisualVM,我们可以加载gc.log并观察GC的相关图表,帮助我们直观理解GC对应用性能的影响。知道如何监控和分析后,我们需要付诸实践。

【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 9 | 博客之星 TOP12 优快云 首位四榜(原力榜 / 作者周榜 / 领军人物 / 综合热榜)榜首,破平台纪录! 苏州地区全榜霸榜,感恩全网十多万粉丝同行! 1331

JVM调优实战 Day 8:GC日志分析与调优

本篇文章系统讲解了GC日志分析与调优的核心技术点,包括GC日志的结构、常见问题、诊断方法、调优策略以及实战案例。通过合理配置JVM参数、优化代码逻辑、使用专业工具分析GC日志,我们能够有效提升Java应用的性能和稳定性。

在未来等你的专栏 1134

VisualVM 安装与使用全攻略(最新VisualVM中文版下载)

VisualVM 是一款强大的 Java 性能分析与监控工具,能够直观展示 JVM 的内存、CPU、线程与 GC 情况。本文介绍了 VisualVM 2.2 汉化版的安装与使用方法,展示如何通过该工具快速定位性能瓶颈、排查内存泄漏、分析线程状态。文中还附带汉化版工具包下载与常用插件配置,帮助 Java 开发者高效完成性能调优。

qq_43427354的博客 4281

GC调优

同时还可以监控对象晋升的直方图。2)缓存对象过多:呈现锯齿状,对象创建之后内存上升,一旦发生垃圾回收之后下降到底部,并且每次下降之后的内存大小接近,处于比较高的位置。1)正常情况:呈现锯齿状,对象创建之后内存上升,一旦发生垃圾回收之后下降到底部,并且每次下降之后的内存大小 接近,存留的对象较少。通过GC日志,可以更好的看到垃圾回收细节上的数据,同时也可以根据每款垃圾回收器的不同特点更好地发 现存在的问题。最合理的设置方式应该是根据最大并发量估算服务器的配置,然后再根据服务器配置计算最大堆内存的值。

我的博客 1503
上一篇: 关于java内存管理和OSR的一个小实验
下一篇: java VisualVM辅助分析GC日志 II
wingnet
博客等级 码龄25年 38粉丝 30原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值