Cross-Resolution知识蒸馏论文学习

论文学习笔记(11):Cross-resolution learning for Face Recognition 目录Abstract1. Introduction2. Motivation3. Related works4. Datasets5. Approach6. Experimental results7. Conclusion Abstract 目前的人脸识别问题在跨分辨率的人脸匹配识别(即LR-HR)上仍知之甚少,因此本文有以下四点贡献: 提出了一个训练程序去fine-tune一个state-of-art模型,使其可以提取分辨率鲁棒的深层特征(resolution-robust) 使用高分辨率数据集(I. 阅读详情
AI摘要

该博客介绍了2019 - 2024年多篇论文中关于图像跨分辨率知识蒸馏的研究。涉及从高分辨率教师模型到低分辨率学生模型的蒸馏方法,如Pixel Distillation、Learning Cross - Modality等,还提及多种蒸馏损失函数,如Lpkd、Lsrg等,应用于目标检测、人脸识别等领域。

TPAMI 2024:Pixel Distillation: Cost-Flexible Distillation Across Image Sizes and Heterogeneous Networks

在这里插入图片描述

教师模型使用高分辨率输入进行学习,学生模型使用低分辨率输入进行学习
学生蒸馏损失:Lpkd和Lisrd
Lpkd:任务损失+logits蒸馏损失或者特征蒸馏损失
Prediction-based distillation methods:

在这里插入图片描述

Feature-based distillation methods:

在这里插入图片描述

Lisrd:低分辨率输入的超分辨率自监督损失

在这里插入图片描述

TGRS 2024:Learning Cross-Modality High-Resolution Representation for Thermal Small-Object Detection

在这里插入图片描述

从高分辨率的RGB教师检测模型—到低分辨率的红外学生模型,三种蒸馏损失学习:Lsrg,Lcma,Lr
SRG Distillation:使用教师和学生模型RoI后的特征,对低分辨率的学生RoI特征进行上采样学习,然后进行L1蒸馏损失

在这里插入图片描述

CMA Distillation:学生特征的self-correlation与教师特征和学生特征的cross-correlation矩阵进行L1蒸馏

在这里插入图片描述

Response Distillation:对前景区域预测的reg和cls的response进行L1蒸馏,通过GT的bounding box计算前景mask矩阵

在这里插入图片描述

总的学生任务损失

在这里插入图片描述

TGRS 2024:HiCD: Change Detection in Quality-Varied Images via Hierarchical Correlation Distillation

在这里插入图片描述

高质量的遥感图像输入训练的变化检测器作为教师,经过降质处理的遥感图像输入训练的变化检测器作为学生
学生损失:

在这里插入图片描述

backbone后的semantic feature的蒸馏损失Lsfd:
(1)基于cosine-similarity的L2蒸馏损失:Ls2,Ls1

在这里插入图片描述
在这里插入图片描述

(2)基于cosine的变化前与变化后的cross-correlation的蒸馏损失:

在这里插入图片描述

(3)Global-Correlation Distillation:在每个轮次的迭代过程中选取一些特征存储到memory bank中,维护一个global 特征Fq,计算变化前与变化后特征与Fq的cross-correlation,进行蒸馏损失的计算

在这里插入图片描述
在这里插入图片描述

总的backbone后的semantic feature的蒸馏损失:

在这里插入图片描述

变化前后特征交互之后的变化特征的蒸馏损失Lcfd:只是对变化特征进行self-correlation,进行蒸馏

在这里插入图片描述

TCSVT 2024:Low-Resolution Object Recognition With Cross-Resolution Relational Contrastive Distillation

在这里插入图片描述

针对于低分辨率的人脸识别,提出了一种高分辨率的教师模型到低分辨率学生模型的Cross-Resolution Relational Contrastive Distillation方法,方法的核心:对比学习,self-correlation
使用一个learnable模块来学习correlation,两个样本在教师模型输出特征的Correlation称之为Vt,两个样本在教师模型和学生模型的Correlation称之为Vt,s

在这里插入图片描述

同一个样本的Vt称之为正样本对,不同样本的Vt为负样本对
同一个样本的Vt,s为正样本对,不同样本的Vt,s为负样本对
引入h函数衡量Vt与Vt,s之间的Correlation

在这里插入图片描述

对h函数使用Log对比损失进行蒸馏约束,最大化正样本对的Correlation,最小化负样本对的Correlation

在这里插入图片描述

总的损失函数为:任务损失+logitsKD损失+所提出的对比Correlation损失

在这里插入图片描述

PR 2024:Dynamic semantic structure distillation for low-resolution fine-grained recognition

在这里插入图片描述

教师模型:high-resolution的mixed images;学生模型:low-resolution的mixed images
semantic consistency learning and decoupled knowledge distilling.

MICCAI 2024:Progressive Knowledge Distillation for Automatic Perfusion Parameter Maps Generation from Low Temporal Resolution CT Perfusion Images

在这里插入图片描述

高分辨率教师模型,低分辨率学生模型
特征蒸馏+logits蒸馏

在这里插入图片描述
在这里插入图片描述

IJCNN 2024:Low-Resolution Face Recognition via Adaptable Instance-Relation Distillation

在这里插入图片描述

高分辨率人脸图像输入的模型作为教师,低分辨率人脸图像输入的模型作为学生
Relation-level distillation
为了建模特征之间的relation,定义了一个relation extraction networks,包含一个linear transformation layer和一个ReLU激活函数

在这里插入图片描述
rti,j表示第i个样本与第j个样本在教师模型中的relation,rt,sij表示第i个样本在教师中与第j个样本在学生中的relation

根据对比学习,使用rt作为监督信号,来最大化rts与rt的互信息,
定义positive pairs和negative pairs (同一个indentity的不同sample为positive pairs),定义基于对比学习的蒸馏损失

在这里插入图片描述

IJCAI 2024:Cross-Scale Domain Adaptation with Comprehensive Information for Pansharpening

在这里插入图片描述

如图1第一部分,基于parsharpening任务,引入了第二部分和第三部分的两个图像重建任务
基于parshapening主任务和高分辨率的图像重建任务,引入了cross-scale的蒸馏损失,feature-level的L2损失和MMD损失(maximum mean discrepancy (MMD))

在这里插入图片描述
图中DSB是特征下采样模块

IGARSS 2024:Cross-Resolution Distillation for Building Extraction in Medium-Resolution Satellite Imagery

在这里插入图片描述

从高分辨率的教师模型蒸馏到低分辨率的学生模型。蒸馏方法:Cross-Resolution Knowledge Distillation (CRKD)
CRKD:两个损失函数,先把学生模型的特征E3,E4,E5特征上采样,然后分别使用MSE损失和SSIM损失进行蒸馏

GRSL 2024:Feature Super-Resolution Fusion With Cross-Scale Distillation for Small-Object Detection in Optical Remote Sensing Images

在这里插入图片描述

ECCV 2024:Multi-Scale Cross Distillation for Object Detection in Aerial Images

航空图像中的目标检测是一项长期存在且颇具挑战性的任务。尽管近年来取得了显著进展,但由于目标的尺度变化,大多数研究成果的性能仍不尽人意。解决这一问题的标准策略是多尺度训练,旨在学习尺度不变的特征表示。尽管这种多尺度策略取得了令人鼓舞的改进,但由于推理时间大幅增加,在实际应用中并不实用。此外,原始图像被调整为不同尺度,随后分别进行训练,不同尺度之间缺乏信息交互。
本文**提出了一种名为多尺度交叉蒸馏(MSCD)**的新方法来解决上述问题。MSCD 结合了多尺度训练和知识蒸馏的优点,使单尺度推理能够实现与多尺度推理相当甚至更优的性能。 具体而言,我们首先构建了一个并行多分支架构,其中每个分支共享相同的参数,但以不同尺度的图像作为输入。此外,我们设计了一个自适应跨尺度蒸馏模块,该模块可将不同分支的知识自适应地整合为一体。因此,使用 MSCD 训练的检测器仅需进行单尺度推理。大量实验证明了 MSCD 的有效性。无需复杂技巧,MSCD 就能助力主流的两阶段检测器在 DOTA 和 DIOR - R 数据集上分别比相应的单尺度模型提升约 5 个和 7 个平均精度均值(mAP)。

在这里插入图片描述

对正负样本的RoI特征进行L2损失的计算

在这里插入图片描述

ICASSP 2025:Distilling Generative-Discriminative Representations for Very Low-Resolution Face Recognition

在这里插入图片描述

从高分辨率人脸到低分辨率人脸,对比relation知识蒸馏+logits 知识蒸馏

CVPR 2023:ScaleKD: Distilling Scale-Aware Knowledge in Small Object Detector

尽管通用目标检测取得了显著成功,但小目标检测(SOD)的性能和效率仍不尽人意。现有研究往往难以在推理速度与 SOD 性能之间取得平衡,而本文提出了一种新颖的尺度感知知识蒸馏(ScaleKD)方法,将复杂教师模型的知识迁移至紧凑的学生模型。
我们设计了两个新模块,以提升小目标检测知识蒸馏中的知识迁移质量:

尺度解耦特征蒸馏模块:该模块将教师模型的特征表示解耦为多尺度嵌入,使学生模型能够针对小目标进行显式的特征模仿。

跨尺度辅助模块:用于优化学生模型预测中嘈杂且无信息的边界框,这些边界框可能误导学生模型,削弱知识蒸馏的效果。通过建立多尺度交叉注意力层,捕捉多尺度语义信息,从而提升学生模型性能。

我们在 COCO 和 VisDrone 数据集上,使用多种类型的模型(即两阶段和单阶段检测器)对所提方法进行评估。ScaleKD 不仅在通用检测性能上表现出色,在小目标检测性能方面也取得了显著提升。

在这里插入图片描述

Scale-Decoupled Feature Distillation:对教师特征和学生特征分别使用多尺度dilation卷积之后提取的concat特征进行L2蒸馏损失的计算

在这里插入图片描述

Cross-Scale Assistant:使用教师模型的FPN特征和学生模型的FPN特征做cross-attention,然后用CSA得到的特征进行分类和回归的输出。对CSA的分类回归输出和学生模型的分类回归输出做知识蒸馏,Lcls和Lreg参照NIPS2017的工作。

在这里插入图片描述

arXiv 2023:Attention to detail: inter-resolution knowledge distillation

在这里插入图片描述

高分辨率训练教师模型,低分辨率训练学生模型
学生模型的总损失:任务损失Lce,特征蒸馏L2损失Lfm,注意力蒸馏损失LAT+

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

arXiv 2023:Enhancing Low-Resolution Face Recognition with Feature Similarity Knowledge Distillation

在本研究中,我们引入了一种特征知识蒸馏框架,利用从高分辨率(HR)图像中获取的知识来提升低分辨率(LR)人脸识别性能。

所提出的框架通过缩小二者之间的差距,将有用的特征从在高分辨率图像上训练的网络转移到在低分辨率图像上训练的网络。我们采用余弦相似度度量作为距离指标,以有效地对齐高分辨率和低分辨率特征。这种方法与传统的知识蒸馏框架不同,传统框架使用 Lp 距离指标,而我们的方法在缩小不同分辨率特征之间的差距时具有良好的收敛优势。

在 AgeDB - 30 基准测试中,我们的框架在不使用复杂技巧的情况下,比之前的最先进方法 Moschoglou 等人(2017 年)提升了 3% ,同时在高分辨率图像上也保持了良好的性能。通过统计分析验证了余弦相似度作为距离指标的有效性,这使得我们的方法成为在经常遇到低分辨率图像的实际应用中的一个有前景的解决方案。

在这里插入图片描述

TIP 2022:Feature Map Distillation of Thin Nets for Low-Resolution Object Recognition

在这里插入图片描述

高分辨率教师模型,低分辨率学生模型,学生模型总的损失函数:学生模型任务交叉熵损失LCL,logits蒸馏损失LKL,LFDD是特征解码器蒸馏损失,LFMC是特征一致性增强损失。

在这里插入图片描述

Feature Decoder Distillation (FDD):计算教师模型与学生模型的Gram矩阵的相似性

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Feature Map Consistency-Enforcement (FMC):包含两个项,一个是L2 norm范数的平均值,做L1蒸馏损失(size Distillation);另一个是cosine similarity的平均值(direction Distillation),并使用Huber loss来动态调整size和direction的差异

在这里插入图片描述

TCSVT 2022:Cross-Resolution Distillation for Efficient 3D Medical Image Registration

在临床中获取的图像,比如磁共振成像(MRI)扫描图像,通常是具有高空间分辨率的三维格式。现有的基于学习的医学图像配准模型会消耗大量的 GPU 内存,且推理时间长,难以在资源有限的诊断场景中部署。

为解决这一问题,我们并未像以往研究那样缩减模型规模,而是选择降低现有配准模型的输入分辨率,并通过知识蒸馏提升其性能。

具体而言,我们提出了一种跨分辨率蒸馏(CRD)方案,旨在让低分辨率模型在相应高分辨率模型的指导下进行训练。

然而,由于高、低分辨率模型的特征之间存在分辨率差距,直接进行蒸馏难以实现。

为应对这一挑战,我们首先引入了特征偏移教师模型(FST),用于对高、低分辨率模型的特征进行偏移和融合。

接着,我们利用这个教师模型,通过特征和形变场的蒸馏损失来引导低分辨率学生模型的学习。

最终,在推理过程中我们仅需使用经过蒸馏的学生模型。

在四个三维医学图像数据集上的实验结果表明,通过我们的 CRD 方案训练出的低分辨率模型,GPU 内存占用少于 20%,推理时间缩短至不到 20%,同时与相应的高分辨率模型相比,仍能取得具有竞争力的性能。

在这里插入图片描述

第一步:训练教师模型:采用resolution cooperative的训练方式。使用共享权重的方式,同时使用高分辨率图像和低分辨率图像训练一个教师模型。
第二步:feature shift:将低分辨率和高分辨率的decoder特征错位对齐,使得空间特征图大小一致,然后使用特征融合手段将FH和FL融合,得到教师的特征表示FT
第三步:Cross-Resolution Distillation:特征层面上的,MSE蒸馏损失;Deformation层面上的,MSE蒸馏损失。

NeurIPS 2022:Rethinking Resolution in the Context of Efficient Video Recognition

在这里插入图片描述

GRSL 2022:Enhancing Mid–Low-Resolution Ship Detection With High-Resolution Feature Distillation

在这里插入图片描述
在这里插入图片描述

ECCV 2022:Teaching Where to Look: Attention Similarity Knowledge Distillation for Low Resolution Face Recognition

在这里插入图片描述
深度学习在人脸识别基准测试中取得了出色的成绩,但对于低分辨率(LR)图像,其性能会显著下降。

我们提出了一种注意力相似性知识蒸馏方法,该方法将从高分辨率(HR)网络(作为教师网络)获得的注意力图转移到低分辨率(LR)网络(作为学生网络)中,以提升低分辨率图像的识别性能。

受人类能够基于从高分辨率图像中获取的先验知识,从低分辨率图像中大致判断出物体区域这一现象的启发,我们使用余弦相似度设计了知识蒸馏损失,以使学生网络的注意力与教师网络的注意力相似。

在各种与低分辨率人脸相关的基准测试中进行的实验证实,所提出的方法普遍提高了在低分辨率设置下的识别性能,仅通过转移精心构建的注意力图,就超越了当前最先进的结果。
在这里插入图片描述

Attention Similarity Knowledge Distillation:分别对教师模型和学生模型的空间注意力图和通道注意力图的1-余弦相似性做平均

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

CVPR 2022:Incremental Cross-view Mutual Distillation for Self-supervised Medical CT Synthesis

在这里插入图片描述

TIP 2021:Resolution-Aware Knowledge Distillation for Efficient Inference

在这里插入图片描述

Adversarial Learning:design a discriminator to decide whether the features are from HR images or LR images
Cross-Resolution Knowledge Distillation:logits的KL散度蒸馏 + 特征的L1距离蒸馏 + Maximum MeanDiscrepancy (MMD)蒸馏

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

学生模型的总的损失函数:

在这里插入图片描述

Artificial Intelligence in Medicine 2021:Resolution-based distillation for efficient histology image classification

在这里插入图片描述

2021:Multi-level Relational Knowledge Distillation for Low Resolution Image Recognition

在这里插入图片描述

两个stage:第一个stage,从复杂的教师模型蒸馏到简单的学生模型;第二个stage,从同样大小规模的Assist蒸馏到同样大小规模但是低分辨率输入的学生模型。
Multi-level relational蒸馏方法:

在这里插入图片描述
在这里插入图片描述

Center angle loss: 计算每个类特征的平均特征,使用点积得到两个样本的距离,对学生和教师的两个样本的距离度量做交叉熵

在这里插入图片描述
在这里插入图片描述

Inter-class Angle loss and Intra-class Angle loss:Linter和Lintra的表示形式和Lcenter一样都是交叉熵,定义相同类和不同类别的两个样本之间的特征距离作为度量,计算学生与教师模型的交叉熵。

在这里插入图片描述

CVPR 2021:Multi-Scale Aligned Distillation for Low-Resolution Detection

在这里插入图片描述
在这里插入图片描述

教师模型使用两个尺度的训练,高分辨率和低分辨率的输入,教师模型的损失函数为:

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Cross Feature-level Knowledge Distillation:

在这里插入图片描述

TIP 2020:Efficient Low-Resolution Face Recognition via Bridge Distillation

野外环境下的人脸识别正朝着轻量化模型、快速推理速度以及分辨率自适应能力的方向发展。在本文中,我们提出了一种桥梁蒸馏方法,将在私有高分辨率人脸数据集上预训练的复杂人脸识别模型,转化为适用于低分辨率人脸识别的轻量化模型。 在我们的方法中,这种跨数据集且分辨率自适应的知识迁移问题,通过两步蒸馏法得以解决。

第一步,我们进行跨数据集蒸馏,将先验知识从私有高分辨率人脸数据集迁移到公开高分辨率人脸数据集,生成紧凑且具有判别性的特征。

第二步,开展分辨率自适应蒸馏,通过多任务学习将先验知识进一步迁移到合成的低分辨率人脸数据集中。通过学习低分辨率人脸的特征表示,并模仿适配的高分辨率知识,能够高效构建出一个轻量化的学生模型,该模型在识别低分辨率人脸时具有可观的准确率。

实验结果表明,这个学生模型在识别低分辨率人脸时表现出色,仅含 0.21M 个参数,内存占用仅 0.057MB。同时,其推理速度在 GPU、CPU 和手机上分别可达每秒 14705 张、934 张和 763 张人脸。

在这里插入图片描述

AAAI 2020:Look One and More: Distilling Hybrid Order Relational Knowledge for Cross-Resolution Image Recognition

尽管近年来深度模型在许多图像识别任务中取得了巨大成功,但由于在分辨率降低过程中信息细节的缺失,直接将它们应用于低分辨率图像识别可能会导致准确率较低。然而,对于熟悉相应高分辨率图像的人来说,这些低分辨率图像仍然是可识别的。受此启发,我们提出了一种师生学习方法,通过混合序关系知识蒸馏来促进低分辨率图像识别。

该方法涉及三个流:教师流经过预训练以高精度识别高分辨率图像;学生流通过模仿教师的行为来学习识别低分辨率图像;额外引入的辅助流作为桥梁,帮助知识从教师流向学生。

为了提取足够的知识以减少准确率的损失,学生的学习由多种损失监督,这些损失保留了各种序关系结构中的相似性。

通过这种方式,可以有效增强恢复熟悉的低分辨率图像缺失细节的能力,从而实现更好的知识转移。在度量学习、低分辨率图像分类和低分辨率人脸识别任务上进行的大量实验表明,在采用精简模型的情况下,我们的方法依然有效。

在这里插入图片描述

Two-Stage Knowledge Transfer:Teacher-Assistant-Student架构,Teacher和Assistant都是高分辨率图像输入,从复杂网络模型蒸馏到简单网络模型;Assistant和Student拥有相同的网络结构,从高分辨率的Assistant蒸馏到低分辨率的Student模型中。
Hybrid Order Relational Knowledge:在这项研究中,首先运用传统的低阶关系知识:一阶、二阶和三阶。此外,我们提出了一种有效的方法来挖掘高阶关系知识。

在这里插入图片描述

1-order relational knowledge:只考虑单个样本在教师和学生模型中的差异度量,使用L1函数进行度量

在这里插入图片描述

2-order relational knowledge:使用L2度量考虑两个样本的距离在教师和学生模型中的差异

在这里插入图片描述
在这里插入图片描述

3-order relational knowledge:考虑三个样本的dot-product距离度量在教师和学生模型中的差异

在这里插入图片描述

Center-based relational knowledge:计算每个class的平均中心特征,度量每个样本在学生模型和教师模型中与该类所在样本中心的差异

在这里插入图片描述
在这里插入图片描述

总的蒸馏损失函数:

在这里插入图片描述

TIP 2019:Low-Resolution Face Recognition in the Wild via Selective Knowledge Distillation

通常,在野外环境部署人脸识别模型时,需要以极低的计算成本识别低分辨率人脸。为解决这一问题,一个可行的办法是压缩复杂的人脸模型,在尽量减少性能损失的前提下,实现更高的速度和更低的内存占用。受此启发,本文提出一种通过选择性知识蒸馏来识别低分辨率人脸的学习方法。

在该方法中,首先初始化一个双流卷积神经网络(CNN),分别通过教师流和学生流来识别高分辨率人脸和分辨率降低的人脸。教师流由一个复杂的 CNN 表示,用于高精度识别;学生流由一个简单得多的 CNN 表示,用于低复杂度识别。

为避免学生流出现显著的性能下降,我们通过求解一个稀疏图优化问题,从教师流中有选择地提取最具信息性的面部特征,然后利用这些特征对学生流的微调过程进行正则化。通过这种方式,学生流实际上是在有限的计算资源下同时处理两项任务:通过特征回归逼近最具信息性的面部线索,以及通过低分辨率人脸分类恢复缺失的面部线索。

实验结果表明,学生流在识别低分辨率人脸方面表现出色,仅占用 0.15MB 内存,在 CPU 上每秒可处理 418 张人脸,在 GPU 上每秒可处理 9433 张人脸。

在这里插入图片描述

Selective Knowledge Distillation From the Teacher Stream:

在这里插入图片描述

ICCVW 2019:Improved Knowledge Distillation for Training Fast Low Resolution Face Recognition Model

在这里插入图片描述

高分辨率教师,低分辨率学生,学生模型的总损失:

在这里插入图片描述

使用MK-MMD损失作为Lfeature_Norm进行蒸馏

在这里插入图片描述
在这里插入图片描述

ICCVW 2019:Extreme Low Resolution Action Recognition with Spatial-Temporal Multi-Head Self-Attention and Knowledge Distillation

在这里插入图片描述

ICASSP 2019:Low-Resolution Visual Recognition via Deep Feature Distillation

在这里插入图片描述

propose to make the output feature fs(Iri) of the student model close to the feature ft(Ihri) of the teacher model,

在这里插入图片描述
在这里插入图片描述

2019:Cross-Resolution Learning for Face Recognition

在这里插入图片描述

《Multi-Scale Aligned Distillation for Low-Resolution Detection》论文笔记 一、介绍 在实例检测中,用深度学习模型进行推理需要巨大的运算量,这适得模型不容易部署在计算资源有限的嵌入式设备中。加速推理的方法有压缩模型,比如裁剪神经网络的深度或高度、采取高效的分块结构设计。除此之外,降低输入图像的分辨率也可以提高推理速度,但降低输入图像分辨率会导致模型性能退化。因为用低分辨率图片训练的模型比用高分辨率图像训练的模型预测准确度要低。 于是我们希望提升用低分辨率图片训练的模型(以下简称low-res student)的性能,方法是对用高分辨... 阅读详情

相关推荐

典型常见的基于知识蒸馏的目标检测方法总结三

开放词汇目标检测旨在使在固定对象类别集上训练的目标检测器具备检测由任意文本查询描述的对象的泛化能力。先前的方法采用知识蒸馏从预训练的视觉语言模型(PVLM)中提取知识并将其转移到检测器中。然而,由于非自适应的提议裁剪和单层级特征模仿过程,它们在知识提取过程中存在信息破坏问题,并且知识转移效率低下。为了弥补这些局限性,我们提出了一个对象感知蒸馏金字塔(Object-Aware Distillation Pyramid,OADP)框架,包括一个。

practical_sharp的博客 2570

C++实现知识蒸馏文本分类:轻量化模型部署与性能优化实战

知识蒸馏是一种模型压缩技术,通过让轻量级学生模型学习复杂教师模型的输出分布,实现知识迁移。其核心原理是利用温度参数软化输出概率,结合KL散度损失和交叉熵损失进行训练,从而在保持模型小型化的同时提升性能。这项技术的价值在于能显著降低模型计算开销和内存占用,特别适用于嵌入式设备、边缘计算等资源受限场景。在文本分类任务中,结合C++实现可以进一步优化推理速度与内存控制,通过精细的矩阵运算和梯度管理,为工业部署提供高效解决方案。本文以C++与Eigen库为基础,详细探讨了轻量级学生模型设计、知识蒸馏损失函数实现等关

weixin_34130389的博客 380

蒸馏+Distilling Knowledge via Knowledge Review论文笔记

近期在阅读cvpr 2021的一篇关于蒸馏学习的论文,正好趁此机会梳理一下蒸馏学习的相关内容,方便下次再阅读蒸馏学习论文时查阅。一下内容关于蒸馏学习的均是网上优秀文章总结,论文阅读笔记是自己总结。网上找了一圈关于知识蒸馏的博客,发现绝大部分都是针对分类任务而言的,我觉得这样论述的话会给人一种错觉,知识蒸馏只适用于分类任务。故我准备参考综述论文《知识蒸馏研究综述》(计算机学报,黄震华,2022年3月)。

qq_43428929的博客 2753

Pixel Distillation: Cost-flexible Distillation across Image Sizes and Heterogeneous Networks【小白读论文】

vanilla PD的总结:为图像分类任务的像素蒸馏方案提出了一个基线,称为 vanilla PD,具体来说,假设像素蒸馏中的小输入图像会导致学生浅层特征的空间信息不足,提出了一种输入空间表示蒸馏(ISRD)机制,从大输入中提取知识,以帮助学生的输入模块获得更丰富的表示。CNN和ViT都使用卷积层将输入图像映射到特征空间,但它们的输入特征的形式有很大不同,因此我们需要将CNN和ViT的特征变换为相同的形式,以实现广义蒸馏。在知识蒸馏方案的经典师生框架中,教师和学生具有相同的输入大小和不同的网络架构。

qq_46127363的博客 778

Learning Scene Structure Guidance via Cross-Task Knowledge Transfer forSingle Depth Super-Resolution

Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution论文阅读

qq_42250789的博客 1086

2026深度学习实战:CNN、Transformer与扩散模型优化

深度学习作为AI核心技术,通过卷积神经网络(CNN)和Transformer等架构实现计算机视觉与自然语言处理任务。其核心价值在于端到端特征学习能力,大幅降低传统机器学习对人工特征的依赖。工业实践中,模型优化技术如量化感知训练、知识蒸馏等能显著提升推理效率,而硬件感知架构搜索则实现算法与芯片的协同优化。在电商推荐、工业质检等场景中,结合扩散模型的多模态生成技术正创造新的商业价值。随着EfficientNet等轻量级架构和TVM等编译优化工具的成熟,深度学习在边缘计算设备的部署已成为2026年的技术常态。

weixin_33842304的博客 383

工业级扩散模型优化:LCM蒸馏与工程加速实战

扩散模型作为生成式AI的核心技术,通过逐步去噪过程实现高质量图像生成。其底层原理基于随机微分方程(SDE)的数值求解,传统方法需要50-1000步迭代,导致计算成本高昂。LCM(Latent Consistency Model)通过一致性蒸馏技术,将多步采样压缩为单步预测,在保持图像质量的同时实现10倍加速。结合混合精度量化和TensorRT优化,UNet部分显存占用降低68%,推理延迟减少85%。这些技术在电商广告生成等工业场景中展现出巨大价值,单图成本从0.5元降至0.03元,日产能可达500万张,解决

weixin_30245867的博客 531

视觉特征-自监督-同源不同crop视图一致性【2023-04】:DINOv2(无监督学习鲁棒视觉特征)【12 亿张互不重复的图像】【判别式自监督方法】【交叉熵损失+iBOT损失】

近期,自然语言处理领域在大量数据上进行模型 Pretraining 取得的突破,为计算机视觉中类似Foundation Model 的发展开辟了道路。这些模型能够生成通用视觉特征,即无需微调即可跨图像分布和任务发挥作用的特征,从而大幅简化图像在任何系统中的使用。本研究表明,现有的 Pretraining 方法,尤其是自监督方法,如果在来自多样化来源的充足精选数据上进行训练,便能够产生此类特征。我们重新审视了现有方法,并结合不同技术,从数据规模和模型规模两方面扩展我们的 Pretraining。

u013250861的博客 385

并行解码蒸馏:从多步迭代到一步生成的扩散模型加速实战

扩散模型通过迭代去噪过程生成高质量图像,但其串行采样机制导致计算成本高昂、推理延迟显著,难以满足实时应用需求。知识蒸馏技术为解决这一效率瓶颈提供了关键思路,其核心是训练一个轻量化的学生模型来模仿复杂教师模型的行为。并行解码蒸馏作为前沿的加速方法,通过让学生模型并行预测教师在所有采样时间步的中间状态,架起了从多步迭代到一步生成的桥梁。该技术显著降低了推理时的计算开销,在保持生成质量的同时实现了数量级的加速,为交互式设计、游戏内容生成、视频实时渲染等对延迟敏感的应用场景提供了可行的工程解决方案。

weixin_34060741的博客 347

【超分辨率(Super-Resolution)】关于【超分辨率重建】专栏的相关说明,包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等

本专栏研究领域为【超分辨率重建】,涵盖图像超分、视频超分,实时超分,4K修复等方面。主要内容包括主流算法模型的论文精读、论文复现、毕业设计、涨点手段、调参技巧、论文写作、应用落地等方面。算法模型从SRCNN开始更新至今,一般是一篇论文精读对应一篇论文复现。论文精读详解理论,归化繁为简,归纳核心,积累词句,培养阅读论文和论文写作能力。论文复现依托Pytorch代码,实现完整的模型训练流程,总结调参方法,记录碰到的bug,论文插图可视化,培养读写代码能力、做实验的能力、以及应用落地能力。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 3万+

python blp模型 估计_随机系数Logit模型及Stata实现

欢迎投稿(荐稿)计量经济圈,计量相关都行邮箱:econometrics666@sina.cn作者:北京交通大学经济管理学院博士生,王琦珀。欢迎你加入计量经济圈社群,一起探讨前沿计量理论和实证方法。一、随机系数Logit模型1.背景实证产业组织(Empirical Industrial Organization,EIO)是目前产业组织理论的前沿,其中又以Ariel Pakes为带头人,其近期工作论文...

weixin_42298927的博客 2644

2025年顶会、顶刊SNN相关论文

这篇博客主要用于记录2025年在一些顶会顶刊(AAAI、CVPR等)上发表的SNN相关的论文,会附上相关论文的链接及简单介绍,正在更新中…

lanpeople的博客 1万+

Obsidian从零搭建:可验证、可回溯、可演进的知识库工具链

个人知识库不是开箱即用的软件,而是基于Markdown内核构建的可演进系统。其核心原理在于分离‘稳定内核’与‘可插拔扩展’:Obsidian原生支持双链、嵌入、Frontmatter等基础能力,构成不可降级的知识骨架;而Dataview、Templater等插件则作为可验证、可回溯的增强层,需通过三问验证(解决痛点?有原生替代?失效可降级?)方可引入。这种设计赋予知识库技术价值——抗版本升级、跨平台兼容、离线可用,并支撑技术文档管理、项目复盘、读书笔记等真实场景。当面对computer use插件不可用或h

weixin_30660027的博客 684

transferlearning 仓库迁移学习应用论文地图:十大领域全景梳理与配套代码实战指南

迁移学习(Transfer Learning)并非只有理论,其价值最终体现在具体应用场景中。[transferlearning](https://link.gitcode.com/i/7b3281a431909b18f4886983b5ca2b25) 仓库的 [应用论文地图](https://link.gitcode.com/i/b316634e7fb5a29d9925c680681f3e0b)

gitblog_00542的博客 194

apm软件仿真+QGC地面站 环境搭建

本教程使用场景:apm软件仿真运行于虚拟机 ubuntu环境。qgc地面站位于windows 系统。两个环境在同一台电脑上。 一.apm仿真环境搭建 1.安装vm虚拟机及ubuntu 18。 2.ubuntu下 下载Ardupilot 飞控源码 并配置环境。 下载源码: git clone https://github.com/ArduPilot/ardupilot cd ardupilot git submodule update --init --recursive 配置所需运行的环境:

qthello 6111

pip install安装markitdown时出现ERROR: ‘packages/markitdown[all]‘ is not a valid editable requirement解决方案

本文主要介绍了pip install安装markitdown时出现ERROR: ‘packages/markitdown[all]’ is not a valid editable requirement解决方案,希望能对使用markitdown的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 3万+

深度学习损失函数原理与应用全解析

损失函数是机器学习模型训练的核心组件,通过量化预测值与真实值的差异指导参数优化。从数学原理看,交叉熵损失基于信息论中的KL散度,而MSE损失则源于统计学的最小二乘估计。这些基础损失函数衍生出Focal Loss、Huber Loss等改进版本,解决了类别不平衡、异常值敏感等工程难题。在计算机视觉领域,结合Dice Loss和交叉熵的复合损失已成为图像分割标配;自然语言处理中则广泛应用Label Smoothing技术。随着对比学习兴起,NT-Xent等新型损失函数进一步推动了自监督学习的发展。合理选择损失函

weixin_34318272的博客 347

最新腾讯手游游戏appid列表及urlScheme一览 urlscheme查询

[全网独家] 2024最新腾讯游戏appid列表及urlScheme一览 手游包含王者荣耀QQ飞车我的世界PUBG吃鸡和平精英金铲铲之战三角洲行动QQ炫舞拳皇98OL欢乐斗地主 元梦之星使命召唤等

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 2万+

Knowledge Distillation: Principles, Algorithms, Applications

Large-scale machine learning and deep learning models are increasingly common. For instance, GPT-3 is trained on 570 GB of text and consists of 175 billion parameters. However, whilst training large models helps improve state-of-the-art performance, depl..

bbbeoy的专栏 993

使用 Simulink/Simscape Electrical/Stateflow,构建一个并网逆变器短路故障动态响应与恢复策略仿真模型

本文基于Simulink平台,详细介绍了并网逆变器短路故障的动态响应与恢复策略仿真方法。主要内容包括:1)构建包含热模型的高精度逆变器模型;2)模拟IGBT击穿和桥臂直通两种短路故障;3)设计基于Stateflow的微秒级快速保护逻辑;4)实现放电、去磁、自检、重启的完整恢复流程。仿真结果表明,所提出的保护方案能在200μs内有效限制故障电流,避免器件永久损坏,并通过标准化恢复流程实现系统安全重启。文章还探讨了硬件保护协同、多级保护和预测保护等高级策略,为电力电子系统安全防护提供了实用解决方案。

xiaoheshang_123的博客 107

openwrt 固件定制详解:各类默认参数修改及应用添加

本文以friendlywrt22-rk3568发行版为例, 介绍如**何定制**一款**openwrt固件**,定制特性包括网络参数、登陆密码、开机界面(banner)、代理arp、opkg源、hostname、应用默认配置参数修改、增加任意文件(不限于应用程序及其库)等, 最后给出了一个完整的实操实例。

十年通信老兵的技术修炼之路——从3G到5G,从地面基站到卫星通信。 1546

CV论文重要性分层评估指南:从arXiv到产线落地

计算机视觉(CV)研究正经历从学术指标驱动向工程实效驱动的关键转型。理解Vision Transformer鲁棒性、模型轻量化、动态推理优化及硬件适配等核心原理,已成为算法工程师提升落地效率的技术基础。其中,real-world robustness强调模型在传感器噪声、低照度、边缘设备资源约束等真实场景下的稳定性;efficient inference则聚焦FLOPs、显存占用与延迟的协同优化。这些能力直接决定缺陷检测、工业分割、实时姿态估计等典型应用场景的可行性与成本边界。本文基于周度CV论文情报解码实

wangqiaowqo的专栏 384

ResNet改进(20):融合Swin Transformer与ResNet

这种混合架构的设计理念是:在保留CNN强大局部特征提取能力的同时,引入Transformer的全局建模优势。我们实现的模型在ResNet18的基础上嵌入了一个简化版的Swin Transformer Block,旨在探索两种范式结合的可能性。通过在ResNet早期阶段引入Transformer模块,我们既保留了CNN强大的局部特征提取能力,又获得了Transformer的全局建模优势。本文提出的ResNet与Swin Transformer混合架构,探索了CNN与Transformer结合的可能性。

2401_82355416的博客 860

RDT2——基于UMI数据实现零样本且跨本体的泛化:先训练VLM、后训练扩散动作专家、最后将扩散策略蒸馏为一步生成器(挑战叠衣服)

本文探讨了视觉-语言-动作(VLA)模型在机器人领域的应用挑战与创新解决方案。当前VLA模型面临泛化能力不足、数据获取成本高、跨平台迁移困难等问题。研究团队提出RDT2模型,基于7B规模的Qwen2.5-VL预训练模型,采用三阶段训练策略:离散动作编码、连续概率建模和高效蒸馏。同时,通过改进UMI硬件系统收集了10,000+小时的多样化真实环境数据。这些创新旨在解决机器人学习中的关键难题,包括数据稀缺、模型效率和多平台适配问题,为构建具有广泛泛化能力的机器人基础模型提供了新思路。

结构之法 算法之道 4663

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

InSPyReNet模型压缩指南:如何将模型大小减小50%而不损失精度

InSPyReNet(Inverse Saliency Pyramid Reconstruction Network)是一个基于图像金字塔结构的高分辨率显著目标检测模型,在ACCV 2022上发表。这个强大的模型在显著目标检测任务上表现出色,但模型文件通常较大。在本篇完整指南中,我将分享5种实用的模型压缩技巧,帮助你将InSPyReNet模型大小减小50%而不损失检测精度。🚀 ## 为什么需要

gitblog_01026的博客 823

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Klarna 4000万美元RAG落地实战:企业级知识增强技术路径

RAG(检索增强生成)正从AI实验性模块演进为支撑客服、金融、电商等核心业务的企业级基础设施。其本质是通过将大语言模型(LLM)与动态更新的私域知识库耦合,解决幻觉、时效性差和领域适配弱等关键瓶颈。技术原理上依赖多源知识建模、分层嵌入、混合检索与结构化生成协同;价值在于重构成本结构——显著压缩信息检索耗时、降低人工审核负荷、提升首问解决率(FTRR)。典型应用场景包括智能客服知识增强、保单条款实时解读、工单自动归因等。本文基于Klarna真实商用案例,深度解析RAG在企业落地中必须攻克的知识源治理、语义ch

weixin_34218579的博客 498

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

上一篇: 光学遥感显著性目标检测2023-2024论文学习
下一篇: IEEE GRSM 2025:Vision Foundation Models in Remote Sensing
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值