墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
4.2k累计阅读
4.3k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
-XX:+CMSParallelRemarkEnabled fgc在标记对象前是要做“暂停”的,这个“暂停”会让jvm停止处理应用程序.串行收集时，只有一次长时间的stop-the-word,而并行收集变成了两次短暂的stop-the-world.并行收集的效率更高，对应用停止的时间更短，但一次full gc还是一次啊，为什么jstat的fgc会增加2？原因在于sun的jvm中fgc计数器是用stop-the-world来计数，jstat取的fgc就是这个fgc计数器的值，所以一次full，而fgc的值却+2。
英伟达Orin芯片：自动驾驶的标杆产品
英伟达Orin芯片是面向自动驾驶和边缘AI的高性能SoC，采用7nm工艺，单芯片算力达254TOPS(INT8)，功耗45-55W。其硬件架构包含12核ARM CPU、Ampere GPU、专用DLA和PVA加速器，支持64GB LPDDR5内存，符合车规级ASIL-D安全标准。软件生态涵盖DRIVE OS、CUDA、TensorRT等工具链，提供全栈解决方案。Orin已被理想、蔚来等车企采用，主要竞争对手包括高通Snapdragon Ride和地平线征程系列。面试需重点掌握算力指标、异构计算架构、Tens
JVM中FGC和YGC分析
1. YGC和FGC说明： YGC ：对新生代堆进行gc。频率比较高，因为大部分对象的存活寿命较短，在新生代里被回收。性能耗费较小。 FGC ：全堆范围的gc。默认堆空间使用到达80%(可调整)的时候会触发fgc。以我们生产环境为例，一般比较少会触发fgc，有时10天或一周左右会有一次。 2. YGC和FGC执行时机： a.edn空间不足,执行 young gc b.old空间不足，perm空间不足，调用方法System.gc() ，ygc时的悲观策略, dump live的内存信息时(jmap
从零搭建 AI 运维 Agent：告警自动诊断 + 修复的完整技术方案
适合读者：管理 5-50 台服务器的运维/SRE 工程师、技术负责人 技术栈：FastAPI + React + PostgreSQL + Redis + DeepSeek 关键词：AI运维、AIOps、自动化运维、智能告警、告警修复、Runbook自动化、DevOps、SRE、DeepSeek运维
面试官：线上环境 FGC 频繁，如何解决？
JVM 大厂面试必问
Android T GPS 定位流程
Gps 定位
【WorkBuddy从入门到精通实战教程】实战案例 第 18 章 把投资分析（炒股）变成你的日常
投资本身就是一件高度信息密集、强结构化、又极度依赖判断的事：读不完的财报、理不清的行业、吵不停的多空。而整理碎片信息、拆解复杂材料、把思考过程摆到台面上，恰好是 AI 擅长的。 在一次完整的股票研究里，AI 到底能替你做掉哪些低质量的重复劳动，把精力还给判断本身。
jvm(java虚拟机)频繁FGC导致cpu占用过高
jvm(java虚拟机)频繁FGC（全局垃圾回收）导致cpu占用过高
别再只会复制Haar级联代码了！OpenCV人脸检测全方案深度解析，从原理到工业级落地
通用预训练模型在你的业务场景效果不好时，用自己的业务数据集训练专属的级联器，是提升精度的终极方案，OpenCV自带和工具，支持自定义Haar/LBP级联器训练。场景首选方案次选方案新手入门学习Haar级联分类器LBP级联分类器嵌入式轻量固定场景LBP级联分类器YuNet轻量版工业级落地项目（99%场景）DNN+YuNetMTCNN多人脸+小目标复杂场景DNN+YuNet自定义微调模型同时做人脸+其他目标检测。
JVM 中一次完整的 GC 流程详解（从 YGC 到 FGC）
JVM 将内存分为多个区域，以便于管理和垃圾回收。堆 (Heap)：存储所有的对象和数组，是 GC 的主要目标区域。堆进一步划分为年轻代和老年代。年轻代 (Young Generation)：存放新创建的对象。年轻代通常较小，GC 发生频繁。Eden 区：新对象首先在 Eden 区创建。Survivor 区：年轻代中的两个 Survivor 区用于存储经过一次或多次 GC 仍存活的对象。老年代 (Old Generation)：存放生命周期较长的对象。老年代的 GC 频率较低，但每次执行代价较高。
基于知识图谱的农作物病虫害问答系统设计与实现
基于规则的问题分类是自问答系统诞生以来就一直存在的方式，主要代表就是众多的专家系统，构建专家系统采用的是规则分类器，优点是能够对特定领域、特征明显的问题进行高效精准问答，但是。，在问答系统中，问题以语音及文本字符等自然语言形式输入，利用问答系统的内部的逻辑处理模块，通过自然语言处理技术获得输入问句的详细语义信息，再经过知识检索、置信分析等步骤，自然语言处理中，用于文本分类任务的机器学习方式有两种，一种用传统的机器学习，如 NBC、SVM 等，另一种采用深度学习，如 CNN 和 RNN 等。
2024年11月架构设计师综合知识真题回顾，附参考答案、解析及所涉知识点（一）
软考高级考试包含三个科目：信息系统综合知识、系统架构设计案例分析和系统架构设计论文。考试形式为机考。本文主要回顾2024年下半年(2024-11-10)系统架构设计师考试上午综合知识科目的选择题，同时附带参考答案、解析和所涉知识点。由于机考时题目顺序是打乱的，本文题目所标序号只为区分不代表实际顺序。综合知识。
jvm基础：如何解决大对象导致的频繁FGC问题？
使用工具进行内存分析和调优，例如使用 JVM 自带的工具（如 jstat、jmap、jvisualvm）或第三方工具（如 VisualVM、MAT）来识别内存泄漏或不必要的对象引用。通过调整新生代的大小，可以提供更大的空间来容纳大对象，减少它们进入老年代的频率。请根据具体情况选择适合的解决方法，并进行实际的性能测试和观察来验证效果。如果可以将大对象分割成更小的对象，可以减少其对内存的占用，并提高垃圾回收的效率。: 对于频繁使用的大对象，考虑使用对象池或缓存来重复利用对象实例，减少对象的频繁创建和销毁。
Sigrity OptimizePI IC Device Power Pin Inductance Analysis模式如何计算IC电源管脚电感操作指导
Sigrity OptimizePI IC Device Power Pin Inductance Analysis模式可以计算电容到IC电源管脚的电感，用于评估电容位置对于IC电源管脚的效果，如何分析，以下图为例进行说明。Capacitors：选择层面，这里选择top layer(IC在top层)，下方可以选择电容的size，这里选择All Size。IC devices，输入U*, A*, B*, Q*, P*，将所有这些字母开头的器件都识别为IC。模式如何计算IC电源管脚电感操作指导。
JVM实战—线上FGC的几种案例
因为-XX:SoftRefLRUPolicyMSPerMB=0，导致YGC时回收了调用反射时JVM创建的大部分软引用对象(在堆中)，导致下一次调用反射又继续创建类和Class，而Class被放在元空间，从而导致元空间很快满了，于是就触发FGC。多次调用反射时，会因为NativeMethodAccessor的次数影响(默认为15次)，而生成最终的类似于generateXXXAccessorXXX这样的类。generateXXXAccessorXXX类会将反射调用转化为本地调用，提升性能。
深度学习工具包 DeepLearningToolbox
深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[](https://bitdeli.com/free "Bitdeli Badge")
Statistics and Machine Learning Toolbox
Statistics and Machine Learning Toolbox（带书签），MATLAB统计学习工具
JVM异常FGC问题查找过程总结
问题现象及分析 可能原因分析 手动重现异常 大对象问题 流量暴涨 CPU资源被其他进程占用 内存被其他进程占用的情况swap分区问题 数据库连接异常 堆文件分析 shell脚本 JVM问题排查总结 其他遗留的问题 前段时间线上的zzuser的服务模块出现大量的异常FGC情况，经过大量排查工作，最后锁定是因为一个sql的大查询导致的。这也给了我非常大的教训，同时我在这次问题的排查过程中也获益匪浅，
最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版
Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf：最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版，包括SDIO 接口的外设，SDIO 接口官方协议等。
频繁FGC及jvm调优
记录一下之前项目中遇到的FGC ,解决方法肯定是多种多样的，下面解决方法仅供参考，如有不足，留言批评指正。
Camera2Demo
在Camera2 的基础上进行封装，使得Camera2一堆初始化逻辑与Activity分离，降低耦合度，完成预览拍照并保存的操作
「JVM调优」FGC 参数优化
NewRatio⭐⭐⭐⭐⭐ - 直接影响对象分配和晋升Xmx⭐⭐⭐⭐ - 决定内存上限和FGC频率Xms⭐⭐ - 主要影响启动阶段。
在JVM发生FGC前后dump内存
[size=medium]一.需求[/size] [size=small]有时候web应用经常会发生FGC,我们想知道FGC把那些对象给回收了，思路很简单就是看看FGC之前内存中有那些实例，FGC之后内存中又有那些实例，通过前后的比较，我们就能很容易知道FGC回收了那些实例，当然我们可以手工去dump内存，在FGC发生之前dump一下内存，再在FGC发生之后dump一下内存，但是这dump的...
JVM Promotion Fail FGC问题解决
一、现象 某系统每台机器每天都会出现一次fgc时间过长的告警。 二、分析 1.查看监控，发现每天无规律的会发生达到5-7秒的fgc。 注：该监控上的fullgc监控采用的是jmx的统计方式，所以其实是对oldgc的监控，因为除了CMS和 G1以外的垃圾回收器的old gc只能由fullgc触发，所以大部分情况下oldgc次数就是fullgc次数， oldgc时间接近于fu...
JVM实战—9.线上FGC的几种案例
比如老年代有2G内存，其中1.5G是连续可用的，0.5G是内存碎片。这些类就是类似GeneratedSerializationConstructorAccessor的类，这样下次再执行反射时，就可以直接调用这些类的方法，这属于JVM底层的一个优化机制。因为-XX:SoftRefLRUPolicyMSPerMB=0，导致YGC时回收了调用反射时JVM创建的大部分软引用对象(在堆中)，导致下一次调用反射又继续创建类和Class，而Class被放在元空间，从而导致元空间很快满了，于是就触发FGC。
java - JVM 线上服务的FGC问题排查
线上服务的GC问题，是Java程序非常典型的一类问题，非常考验工程师排查问题的能力。同时，几乎是面试必考题，但是能真正答好此题的人并不多，要么原理没吃透，要么缺乏实战经验。 过去半年时间里，我们的广告系统出现了多次和GC相关的线上问题，有Full GC过于频繁的，有Young GC耗时过长的，这些问题带来的影响是：GC过程中的程序卡顿，进一步导致服务超时从而影响到广告收入。 这篇文章，我将以一个FGC频繁的线上案例作为引子，详细介绍下GC的排查过程，另外会结合GC的运行原理给出一份实践指南，希望对你有所帮助
JVM堆内存的结构，YGC,FGC的原理
Survivor区：当Java对象在Eden区中经过一次Minor GC后，如果在Survivor区中已经存在一份相同的对象，就会将该对象复制到Survivor区，同时更新该对象的引用计数器。如果Eden区无法容纳新创建的Java对象，就会触发一次Minor GC（年轻代垃圾收集），将Eden区和Survivor区中没有被引用的对象清除，而仍存活的对象则会被移至Survivor区。在JVM中，当年老代区域无法容纳新创建的Java对象时，就会发生一次Full GC，将整个堆内存中无用的对象都清除掉。
JVM实战—频繁YGC和频繁FGC的后果
新生代也可以称为年轻代，这两个名词是等价的。当新生代的Eden内存区被占满后，就需要触发新生代GC(年轻代GC)。此时这个新生代GC就是所谓的Minor GC，也可以称为Young GC。所以Minor GC和Young GC这两个名词，就是专门针对新生代GC的。通常来说，YGC即使发生比较频繁，其实对系统也造成不了太大影响。只有在机器内存特别大时，才要注意YGC可能会导致比较长时间的停顿。所以针对大内存机器通常建议采用G1垃圾回收器。
Java线上程序频繁JVM FGC问题排障与启示
线上Java程序的JVM频繁FGC，现象如图所示： 一直持续FGC 5次左右，每次耗时1秒多不等。 FGC的原因实际上是内存不够用，但是运维反映堆内存是2G，从运维提供的参数看也是。 内存实际上一直只用到1G以内。 这时候可以自己写一段代码输出堆内存数据，这是最准的： public class JVMTest { public static void main(Str...
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
1822
扫一扫
