速度和性能,我全都要,从头训练稀疏网络:不损失性能的快速训练

3D点云学习:SECOND目标检测①论文阅读 论文: 论文链接. 源码: 源码链接. 由于本来是准备研究PV-RCNN网络的,可是发现源码还没有开源。但是在PCDet.上发现包含了SECOND等几个网络 源码2: 源码链接2. 1 摘要 基于LiDAR或基于RGB-D的目标检测被用于从自动驾驶到机器人视觉的众多应用中。 在处理点云LiDAR数据时,基于Voxel的3D卷积网络已经使用了一段时间,体素方法能够在处理雷达点云数据时的保留更多的信息。 但是,仍然存在问题,包括推理速度慢和方向估计性能低。因此,我们研究了一种改进的稀疏卷积方法用于这种网络,这显 阅读详情

作者:Tim Dettmers

编译:ronghuaiyang

导读

一种训练稀疏网络的方法,不需要重训练,一次完成,又快速,又不损失性能,边缘设备部署必备。

这篇博客文章是关于我和 Luke Zettlemoyer 的工作,Sparse Networks from Scratch: Faster Training without Losing Performance[1],目的是使用神经网络快速训练,在整个训练中我们保持网络的稀疏。我们证明,通过开发一个算法,稀疏动量,我们可以初始化一个具有稀疏随机权值的神经网络,并将其训练到和密集网络相当的性能级别 — 而这一切只需要进行一次训练。此外,如果我们使用优化的稀疏卷积算法,我们可以训练在 VGG 时得到 3.5x 的加速,在 Wide Residual 网络上得到 12x 的加速。这与彩票假设(Frankle 和 Carbin, 2019)和其他工作中使用的需要重复剪枝和再训练周期的计算昂贵的方法形成了鲜明的对比。因此,我们证明了将稀疏网络训练到和密集网络相当的性能级别不需要“赢得初始化彩票”,但是如果结合一种巧妙地在网络中移动权值的方法,则可以通过随机权值可靠地完成。我们称这种在整个训练过程中保持稀疏性同时又保持密集的表现水平的范式为“稀疏学习”。虽然这项工作表明了稀疏学习是可能的,但未来的工作有望在需要与当前密集网络相同或更少计算资源的情况下,在更多数据上训练更大、更深的网络。

为什么需要稀疏学习?

深度学习的一个重要推动因素是计算资源的进步。从 2010 年到 2018 年,我们看到计算 GPU 性能提高了 9700%。然而,由于达到了半导体技术的物理极限,我们可以预期在未来 5-8 年内,GPU 性能的提高将略高于 80%。如果我们不能进一步提高计算能力,研究世界会是什么样子?

这一点可以从自然语言处理(NLP)社区中窥见一斑,在这个社区中,像 ELMO、GPT、BERT、GPT-2、Grover 和 XL-Net 这样的预训练过的语言模型通过在大多数 NLP 任务中胜过其他方法而统治了整个领域。这些模型通常相当简单:你在大量的文档上训练它们,任务主要是预测给定一系列其他单词的单词 — 有点像做填空题。懂了吗?这些模型太大了,以至于需要超过 100 个 gpu 小时来训练。这对于那些想要了解这些模型但却无法做到的学术研究人员来说尤其令人沮丧,因为他们缺乏大公司所拥有的计算资源。为了真正理解这些大量的预先训练过的语言模型,一个主要的目标应该是通过开发更多的训练程序来大众化这些模型的训练。

实现这一目标的一种方法是通过观察人类大脑来寻找灵感。人脑消耗的能量是 GPU 的十分之一,但却要比 GPU 强大 10^9 倍。是什么使得大脑的计算效率如此之高?原因有很多,但其中一个原因是“稀疏性”。

研究发现,灵长类大脑中的神经元越多,普通神经元与其他神经元之间的连接就越少(Herculano-Houzel 等,2010)。这与我们设计深度神经网络的方式大相径庭,深度神经网络是将一层中的每个新神经元与上一层中的所有神经元连接起来。我们已经知道如何将一个完全训练好的密集网络压缩成一个稀疏网络(Han et al., 2015),但是,如果一个人从一个我们在训练时保持稀疏的稀疏网络出发,那么如何成功地做到这一点却鲜有研究。我们怎么做呢?

稀疏动量:训练稀疏网络的一个高效的方法

本节解释了稀疏动量算法的直觉到完整算法的过程。

图1:稀疏动量通过查看最近梯度(动量)的加权平均值来确定在稀疏网络中何处增加新的权值,从而找到一致降低误差的权值和层数。(1)根据平均动量幅值大小确定各层的重要性。(2)对于每一层,我们去掉50%的最小权值。(3)然后根据层的重要性在层之间重新分配权重。在一层中,我们在动量幅值大小较大的地方增加权重。

好的稀疏学习算法主要具有什么样的性质?

在稀疏学习中,最重要的是尽可能有效地利用神经网络中的每一个权值。如果你将“有效性”定义为“减少错误”,那么对于如何进行,我们就有了一个明显的观点。我们需要找到一种方法来描述一个权重在减少误差方面有多有效,并去掉所有不有效的权重。一旦我们删除了权值,我们希望在我们认为有希望在未来减少错误的位置重新生成新的权值。

如果我们看一下误差的梯度和权值的关系,我们实际上有一个精确的度量。然而,如果我们观察连续的梯度,我们会发现梯度可以剧烈地振荡。例如,如果你有一个分类手写数字 0 到 9 的神经网络,然后某个权值可能擅长发现顶部的直线,那么,它可能有助于减少数字 5 和 7 的错误,它也可能没有帮助,甚至对数字 0,1,2,3,6,8,9 是有害的。相反,检测右上角的曲线模式的权重可能有助于 0、2、3、8、9,因此,我们希望这个权重随着时间的推移比“顶部的直线”的权重更可以持续地减少错误。我们如何在神经网络中自动检测这些有前途的权重呢?

动量: 找到持续减少误差的权重

如果你把北极当作局部最小值,把指南针当作指向局部最小值的梯度,那么你就可以通过疯狂摇动指南针来模拟随机梯度下降更新。当指针每次经过北极时,它会减速,然后越来越接近的指向北极,然而,由于自旋,它仍然会“过”那个方向。因此,当磁针仍在来回移动时,从两三次测量中可能不清楚北极在哪里。然而,如果你使用平均方向 — 一次针有点左边的北极,另一次偏右边一点的,那么把这些偏差消掉了之后,你会马上得到一个方向非常接近真正的北极。

这是动量优化技术背后的主要思想:我们平均连续的梯度,以获得一个更好的估计方向的局部最小值。类似于罗盘指针,当它慢下来时,会随着时间变得越来越精确,我们希望在随机梯度下降中对最近的梯度方向给予更高的权重。一种方法是分配一个加权平均值,其中我们分配一个大得多的权重给当前梯度,一个小得多的权重给以前的梯度——这叫做指数平滑。通过指数平滑权值的梯度,我们得到了一个加权梯度矩阵——这个矩阵就是动量矩阵。通过这种方法,我们可以确定哪些权重可以持续地减少误差。

重新分配权重:每一层的平均动量幅值

从这里我们得到了稀疏动量算法的第一个重要观察:如果一个权值的动量显示它能够持续减少误差的多少,那么一层中所有权值的平均动量的大小就显示了这一层能够减少错误的平均能力。我们取幅值大小是因为两个不同的权值可能一致地向着负方向和正方向。通过计算各层的平均动量大小,我们可以很容易地比较各层的平均权重的效果。例如,可以这样说,卷积层 a 中的一个权值在减少错误方面的平均效果是全连接层 B 中的平均权值的 1/3,反之亦然。这种方法使我们能够有效地重新分配权重:如果我们发现了“无用的”权重,我们现在就可以精确地知道应该把它们放在哪个层中 — 但是应该把它们放在一个层的什么地方呢?

什么样的权值应该去掉?在什么地方重新把这个权值长出来?

接下来的两个问题比较简单:哪些是最没用的权重?我们如何在一层中增加权重?第一个问题是神经网络压缩研究中的一个常见问题,在这个问题中,我们经常删除具有最小幅值的权值。为什么会这样呢?如果我们假设所有的权值都接收到相同大小的平均输入— 如果使用批处理归一化的话,这是一个合理的假设 — 那么较小的权值对神经元激活的影响最小。因此,删除它们应该会对我们的网络的预测性能产生最小的影响。

一旦我们删除了权值并将它们重新分配到权值有效的层中(通过一层的平均动量大小来测量),我们就需要决定在一层中到底在哪里生长它们。如果我们问:“如果我们把两个未连接的神经元连接起来,哪两个神经元会持续地减少误差?”这个问题的答案将再次指向动量大小。然而,这一次,我们想看看“缺失”或零值权值的动量大小,也就是说,我们想看看那些以前被排除在训练之外的权值。因此,我们在缺失权值的动量最大的位置增加权值。这样就完成了稀疏动量算法,如图 1 所示。

结果

结果令人印象深刻!我们比较了 MNIST 上的压缩算法,其中稀疏动量优于大多数其他方法。这是一个非常好的结果,因为压缩方法是从一个密集的网络开始的,并且通常在我们从零开始训练稀疏网络时需要重复地进行再训练!另一个令人印象深刻的结果是,通过使用 20%的权重(80%的稀疏性),我们可以匹配甚至超过密集网络的性能。在 CIFAR-10 上,我们将其与单次修剪的网络进行了比较,后者的设计是为了简单而不是性能 — 因此,稀疏动量做得更好并不奇怪。然而,有趣的是,我们可以同时训练 VGG16-d (VGG16 的一个版本,具有两个全连接的层)和 Wide Residual Network(WRN)16-10(16 层深和非常宽的 WRN),只使用了 5%的权值就使其达到了密集网络的性能级别。对于其他网络,稀疏的动量接近于密集网络的性能水平。此外,正如我将在后面展示的,通过一个优化的稀疏卷积算法,我们将能够训练多种网络来产生相同的性能水平,而训练速度在 3.0-5.6 倍之间!

LeNet-300-100和LeNet-5caffe在MNIST上的稀疏动量结果与神经网络压缩方法的比较

稀疏动量的ImageNet结果及相关方法。对于非完全稀疏的模型,从训练开始,第一次卷积和所有下采样剩余连接都是密集的。在完全稀疏的情况下,所有层都是稀疏的。稀疏动量比其他方法更有效,如果所有的权值都是稀疏的,其效果几乎是一样的。这表明稀疏动量在寻找需要高密度的重要层时是有效的。

在 ImageNet 上,我们无法达到密集网络的性能级别,这表明有改进稀疏动量的空间。然而,我们可以证明,与其他在训练过程中保持稀疏权值的方法相比,稀疏动量具有明显的优势。

加速

稀疏学习的主要承诺是加速训练——我们成功了吗?是也不是。如果我们测量稀疏卷积可能的加速,那么稀疏动量可以有效地加速训练,但是因为稀疏网络只是最近才被用于训练,所以对于 GPU 来说没有优化的稀疏卷积算法存在——至少对于稀疏动量所展示的细粒度的稀疏权值模式不存在。

因此,我们将加速分为两组:一组是在存在稀疏卷积算法的情况下可能实现的加速,另一组是在标准的密集卷积算法下可以实现的加速。稠密卷积如何帮助稀疏网络?

如果我们观察网络的稀疏模式,我们会发现卷积通道是完全空的 — 卷积滤波器充满了 0 !如果发生这种情况,我们可以在不改变卷积结果的情况下从计算中移除通道,从而获得加速。

稀疏动量可以在一系列网络中复制密集网络的性能水平,从而导致加速。

然而,如果我们看一下加速,我们会发现在稀疏卷积和稠密卷积加速之间有一个明显的区别。这清楚地说明了 GPU 对优化的稀疏卷积算法的需求。

为什么稀疏学习可以工作?

我们的一些用稀疏动量训练的稀疏网络与只有 5%权值的密集网络的性能水平相匹配。是什么让这 5%的权重如此高效,以至于它们可以与一个权重是它 20 倍的神经网络相匹配?

为了研究这个问题,我们研究了稀疏网络和稠密网络的特征。低级特征可能包括边缘检测器之类的东西。中等水平的特征可能是轮子、鼻子、眼睛、爪子等。高级特征可能是汽车的“脸”、猫的脸、冰箱门等等。

为了将特征简化为数字,我们考虑了卷积通道——相当于卷积网络中的一个“神经元”——以及该通道对数据集中的类有多有用。边缘检测器应该对数据集中的几乎所有类都有用——换句话说,它们应该是不区分特定类别的。中等水平的特征,如眼睛,对猫、狗和人等类别是有用的。高级特征应该对一些特定类有用 —— 它们是高度类别化的。

AlexNet, VGG16和wrn28 -2上稀疏和稠密网络的类别化的直方图

我们发现,平均而言,稀疏网络学到的是对更大范围的类有用的特征——它们学习更一般的特征。这也许可以解释为什么稀疏网络的性能可以与只有 5%权值的稠密网络相匹配。

稀疏学习的特征

我相信稀疏学习有一个非常光明的未来,因为(1)gpu 的性能在未来几年将停滞不前,(2)用于稀疏计算的专用处理器,Graphcore 处理器,即将出现。Graphcore 处理器将整个网络存储在其 300MB 的缓存中,并将其加速约 100 倍。这意味着,如果我们可以在训练时将网络压缩到 300MB,那么我们的训练速度将提高 100 倍。使用一个 Graphcore 处理器,在 ImageNet 上训练一个 ResNet-50 只需要大约 15 分钟。通过稀疏学习,300 MB 的限制将不会出现问题。

我的预测是,第一个能够在 Graphcore 处理器上成功训练稀疏神经网络的研究团队将开启人工智能的一个全新水平。

除此之外,另一个挑战是将稀疏学习算法应用于自然语言处理(NLP)。毫不奇怪,我在自然语言处理任务的 transformers 上的实验表明,与计算机视觉相比,在 NLP 中进行稀疏学习要困难得多——有大量的工作要做!

使用 10 行代码在你自己的模型上尝试稀疏动量!

一个通用的稀疏学习脚本的例子,可以用于拟自己的模型。在我的sparselearning库中,使用稀疏动量很容易:(1)导入这个库,(2)添加解析器选项,(3)用屏蔽类包装模型,(4)应用掩码而不是优化器,(5)在epoch结束时应用稀疏动量。使用你自己的稀疏学习算法(用于增长、修剪或重新分配),这个库也很容易扩展—只需几行代码!

为了使每个人都能使用稀疏学习,我开发了一个稀疏学习库,它允许将现有的算法(如稀疏动量)轻松应用到你自己的模型中——这可以在不到 10 行代码中完成。这个库还可以让你很容易地添加自己的稀疏学习方法。你可以在 GitHub 上找到我的稀疏学习库[2]

参考资料

[1]

Sparse Networks from Scratch: Faster Training without Losing Performance: https://arxiv.org/abs/1907.04840

[2]

稀疏学习库: https://github.com/TimDettmers/sparse_learning

(完)


基于 Megatron-Core 的稀疏大模型训练工具:阿里云MoE大模型最佳实践 随着大模型技术的不断发展,模型结构和参数量级快速演化。大模型技术的应用层出不穷。大模型展现惊人效果,但训练和推理成本高,一直是巨大挑战。 阅读详情

相关推荐

Supermask:基于预训练权重的二值掩码稀疏化方法

稀疏神经网络是模型压缩与边缘部署的关键技术路径,其核心在于如何在不损害性能的前提下减少参数量与计算量。Supermask 作为一种新兴范式,区别于传统剪枝与量化,它不修改预训练权重,而是通过可学习的二值掩码(0/1)动态选择有效连接,实现权重-结构解耦。该方法依托预训练权重的内在结构信息,在冻结主干参数的前提下,仅优化轻量级掩码张量,兼具训练高效性、硬件友好性与即插即用特性。其技术价值体现在低开销适配、零微调迁移与原生稀疏加速,广泛适用于移动端推理、IoT设备部署及大模型轻量化场景。本文聚焦 Superma

weixin_33690367的博客 396

使用数据增强从头开始训练卷积神经网络(CNN)

介绍该文致力于处理神经网络中的过度拟合。过度拟合将是你主要担心的问题,因为你仅使用 2000 个数据样本训练模型。存在一些有助于克服过度拟合的方法,即 dropout 和权重衰减(L2 正则化)。我们将讨论数据增强,这是计算机视觉独有的,在使用深度学习模型解释图像时,数据增强在任何地方都会用到。数据增强学习示例不足会阻止你训练可以泛化到新数据的模型,从而导致过度拟合。如果你有无限的数据,你的模型将...

深度学习与计算机视觉 1395

【目标检测】【CVPR 2025】DEIM:具有改进匹配机制的DETR以实现快速收敛

我们介绍了DEIM,这是一种创新且高效的训练框架,旨在加速基于Transformer架构(DETR)的实时目标检测的收敛速度。为了缓解DETR模型中一对一(O2O)匹配固有的稀疏监督问题,DEIM采用了密集O2O匹配策略。该方法通过引入额外目标并使用标准数据增强技术,增加了每张图像的正样本数量。虽然密集O2O匹配加快了收敛速度,但也引入了大量低质量匹配,可能影响性能。为了解决这一问题,我们提出了可匹配性感知损失(MAL),这是一种新颖的损失函数,能够优化不同质量水平的匹配,从而增强密集O2O的有效性。

weixin_44184852的博客 8634

什么是稀疏动量网络(加速训练)

稀疏动量:训练稀疏网络的有效方法 关于神经网络的快速训练,我们在整个训练过程中都会保持稀疏。我们表明,通过开发稀疏动量算法,我们可以使用稀疏随机权重初始化神经网络,并将其训练为密集的性能水平-所有这些都仅需执行一次训练即可。此外,如果我们使用优化的稀疏卷积算法,则可以将VGG的训练速度提高到3.5倍,而将宽残差网络的训练速度提高到12倍。 这与计算昂贵的方法形成了鲜明的对比,其他工作使用的重复修剪和重新训练周期。如果结合使用一种以智能方式在网络中移动权重的方法,则可以从随机权重可靠地完成。我们称这种范式在整

weixin_39326879的博客 1561

深度学习算法工程师:剪枝-稀疏训练-微调的关系与实现(一)

本文探讨了神经网络剪枝与稀疏训练的关键技术。主要内容包括:1) 稀疏训练通过L0/L1正则化约束权重,动态调整掩码实现权重置零;2) 剪枝方法分为权重剪枝和结构化剪枝,前者只置零权重,后者会移除通道/层;3) 实验对比显示,训练后微调的剪枝模型准确率可达98.59%,结构化剪枝能减少参数量;4) 指出当前方法的局限:权重置零不直接减少计算量,需后续优化才能实现加速。文章强调不同剪枝策略的适用场景,为模型压缩提供了实践参考。

FJN110的博客 228

BP神经网络学习内容分享:学习激活函数和损失函数

BP神经网络

2301_80449389的博客 1211

神经网络稀疏训练

对于每一个通道都引入一个缩放因子,然后和通道的输出相乘。接着联合训练网络权重和这些缩放因子,最后将小缩放因子的通道直接移除,微调剪枝后的网络,特别地,目标函数被定义为: 其中(x,y)代表训练数据和标签,是网络的可训练参数,第一项是CNN的训练损失函数。是在缩放因子上的乘法项,是两项的平衡因子。论文的实验过程中选择,即正则化,这也被广泛的应用于稀疏化。次梯度下降法作为不平滑(不可导)的L1惩罚项的优化方法,另一个建议是使用平滑的L1正则项取代L1惩罚项,尽量避免在不平滑的点使用次梯度。 这里的缩放因子就是

luoganttcc的博客 5349

盘点那些好用的SAP FIORI App(二) -上传凭证Upload Journal Entry

SAP FICO运维问题及解决方案分享

lijinbao171022的博客 1545

FlashAI/DeepSeek R1 稀疏化训练方法深度解析

在大语言模型(Large Language Model, LLM)快速发展的今天,模型参数量呈指数级增长,从最初的几亿参数发展到如今的千亿级别。然而,巨大的模型规模带来了严重的计算资源消耗和部署成本问题。DeepSeek R1系列模型通过创新的稀疏化训练(Sparse Training)技术,在保持优异性能的同时大幅降低了计算和存储需求。 > **痛点场景**:你是否遇到过这样的困境? > - ...

gitblog_00037的博客 1160

在AVP28335(兼容德州仪器TMS320-28335) 上实现ModbusSlaveRTU-485源码及注释。

今天先把题目先给出来, 在近两天会把源码 (含详细注释 )及部署、测试结果给出来, 希望能给大家帮助。(全免费 我有点缺德,断了别人的一个财路)。

FOOLCODE的专栏 644

Isograph Reliability Workbench 14实战:从零构建故障树分析模型

本文以“马达不转”为例,手把手教你使用Isograph Reliability Workbench 14从零构建故障树分析模型。内容涵盖创建工程、定义顶事件、添加逻辑门与基础事件等核心步骤,并介绍了模型检查与定性定量分析,帮助你系统掌握这一强大的可靠性工程工具。

weixin_29309213的博客 366

[论文阅读]Second——稀疏嵌入卷积检测

Second论文阅读

qq_53909832的博客 1万+

SA8155P QCOM 车载系统介绍

高通车载相机开发

qq_37057338的博客 5235

PaddlePaddle Sparse Training稀疏训练:减少计算量

PaddlePaddle支持稀疏训练,可在精度损失极小的情况下显著降低显存占用与训练成本。通过动态掩码机制,模型在训练中自动识别并冻结低重要性参数,特别适用于推荐系统和中文NLP等大规模场景。结合块状稀疏、渐进式剪枝与量化蒸馏,可构建高效轻量化的AI流水线。

weixin_31659095的博客 444

20、啁啾脉冲光纤放大器:原理、设计与仿真

本文详细介绍了啁啾脉冲光纤放大器(FCPA)的原理、设计与仿真过程。内容涵盖CPA技术的基本原理、光纤基CPA系统的组成、Tm掺杂光纤放大器的工作机制、全光纤脉冲展宽器的设计以及仿真分析。通过MATLAB仿真展示了脉冲在光纤中的展宽与放大过程,并讨论了如何优化系统以减少非线性失真、控制峰值功率并提高整体性能。文章还总结了系统优化的关键策略,并展望了未来的发展方向。

v4w5x6的博客 319

AI大模型:(三)3.2 Spring AI实现Agent

SpringAI实现了流式对话功能,通过与Ollama模型集成完成前后端交互,当前版本存在thinking信息丢失问题。系统支持两种工具注册方式(方法注解和函数式),并内置时间工具类展示外部工具调用能力。记忆功能提供多种存储方案(内存、JDBC、NoSQL等),实现跨对话轮次的上下文保持。MCP协议集成方面,服务端实现计算和业务查询工具,客户端支持12306及自定义业务系统接入。完整演示了流式对话、工具调用与记忆功能的综合应用。该实践构建了具备复杂交互能力的AI系统,同时指出生产环境需关注的安全与优化问题。

haylee的专栏 1013

TensorFlow NMT性能优化终极指南:10个快速提升训练和推理速度的实用技巧

TensorFlow NMT(Neural Machine Translation)是一个强大的神经机器翻译工具包,通过优化配置和代码调整可以显著提升其训练效率和推理速度。本文将分享10个实用技巧,帮助您的NMT模型训练更快、翻译更高效,让您在有限的计算资源下获得最佳性能。 ## 1. 优化批处理大小(Batch Size)设置 批处理大小是影响训练速度的关键因素之一。在TensorFlow

gitblog_00876的博客 1093

【MATLAB代码】蚁群算法(Ant Colony Optimization, ACO)路径规划(避障)仿真程序,订阅专栏后可直接查看完整源代码

基于蚁群算法的路径规划系统。可自定义起点、终点和障碍物地图,系统通过蚁群算法自动计算最优路径,并输出路径坐标、障碍物地图和收敛曲线。完整MATLAB源代码直接运行。适用于复杂障碍环境下的路径优化问题。

985工科博士毕业,专攻定位、导航和滤波等算法研究。从业10年,主要使用MATLAB 3093

稀疏体素黑科技:用Plenoxels将3D建模速度提升100倍的秘密

本文深入解析了Plenoxels技术如何利用稀疏体素表示,将3D建模速度提升百倍。通过摒弃神经网络,结合球谐函数与三线性插值,Plenoxels在保持高质量渲染的同时,实现了极速训练与实时渲染,有效解决了传统NeRF在工业应用中速度慢、调试难的核心瓶颈,为数字孪生、产品设计等场景提供了高效的解决方案。

i7j8k9l的博客 980

JA3已死,JA4当立:2026年TLS指纹识别技术深度解析

从JA3到JA4,本质上是TLS指纹技术从"简单粗暴"到"工程化设计"的进化。排序机制解决了浏览器随机化的核心痛点,结构化格式提升了可读性和可运维性,多协议扩展适配了最新的网络环境。2026年的今天,JA4已经从"新技术"变成了"基础设施"。对于安全从业者来说,理解JA4的原理和局限,合理运用到反爬、反欺诈、威胁狩猎场景中,是一项必备的基础技能。但也要清醒认识到,没有任何单一指纹是万能的。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 353

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

DALL-E2-pytorch性能基准测试:不同GPU配置下的训练速度对比

你是否在为DALL-E2-pytorch模型训练时的漫长等待而困扰?是否想知道如何选择最适合的GPU配置来平衡成本与效率?本文将通过实际测试数据,为你详细对比不同GPU配置下的训练速度,帮助你找到最优解。读完本文,你将了解到:不同GPU型号在训练中的表现差异、影响训练速度的关键因素以及实用的性能优化建议。 ## 测试环境说明 本次测试基于DALL-E2-pytorch项目的最新版本,测试环境的...

gitblog_00399的博客 721

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Agent在线学习性能提升300%?背后你不知道的4种自适应训练策略

提升Agent的学习效率,揭秘4种自适应训练策略如何实现在线学习性能提升300%。适用于动态环境与实时决策场景,具备快速收敛、低延迟更新等优势,显著增强模型适应性。值得收藏的前沿实践方法,点击了解技术细节。

PixelGlow的博客 747

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

论文阅读 SECOND:Sparsely Embedded Convolutional Detection

论文地址 重庆大学,输变电设备与系统安全国家重点实验室,2018,KITTI 标题:SECOND:Sparsely Embedded Convolutional Detection 作者:Yan Yan,Yuxing Mao,and Bo Li 来源:sensors 2018 摘要:   基于LiDAR或基于RGB-D的对象检测被用于从自动驾驶到机器人视觉的众多应用中。 在处理点云LiDAR数据时,基于体素的3D卷积网络已经使用了一段时间,以增强信息的保留性。 但是,仍然存在问题,包括推理速度慢和方向估计性

Qin_酱的博客 4267

Sonic模型能否支持稀疏训练?未来轻量化方向

Sonic作为轻量级语音驱动数字人模型,已在工业界广泛应用。其模块化架构为稀疏训练提供了天然适配基础,音频与图像编码器的独立性支持通道剪枝与注意力头稀疏化。结合动态稀疏训练与量化感知压缩,有望实现端侧实时生成,推动虚拟形象在移动端的普及。

weixin_31974443的博客 966

突破AI性能瓶颈:TorchAO量化与稀疏化全攻略

TorchAO是一个专注于GPU模型量化和剪枝的开源项目,提供了丰富的API和工作流,帮助开发者优化AI模型性能。无论是新手还是有经验的用户,都能通过TorchAO轻松实现模型的量化与稀疏化,在保持模型精度的同时,显著提升推理速度和降低显存占用。 ## 为什么选择TorchAO进行模型优化? 在AI模型部署过程中,性能瓶颈往往成为制约应用落地的关键因素。TorchAO通过量化和稀疏化两大核心技

gitblog_00390的博客 749
上一篇: 【电子书+代码】Sklearn,Keras与Tensorflow机器学习实用指南
下一篇: 如何用 Python 给照片换色
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值