TPAMI 2023:When Object Detection Meets Knowledge Distillation: A Survey

典型常见的基于知识蒸馏的目标检测方法总结一 使用feature propagation layer [29]将voxel特征转换为point feature。 阅读详情

摘要

目标检测(Object Detection,OD)是计算机视觉中的一项关键任务,多年来涌现出了众多算法和模型。尽管当前 OD 模型的性能有所提升,但它们也变得更加复杂,由于参数规模庞大,在工业应用中并不实用。为解决这一问题,2015 年知识蒸馏(Knowledge Distillation,KD)技术被提出用于图像分类,随后因其能够将复杂教师模型所学知识转移到轻量级学生模型中,而被扩展到其他视觉任务。**本文对近年来基于 KD 的 OD 模型进行了全面综述,旨在为研究人员提供该领域近期进展的概述。**我们深入分析了现有工作,强调其优势和局限性,并探索未来研究方向,以启发相关任务模型的设计。我们总结了设计基于 KD 的 OD 模型的基本原理,描述了相关的基于 KD 的 OD 任务,包括轻量级模型的性能提升、增量式 OD 中的灾难性遗忘、小目标检测以及弱 / 半监督 OD。我们还分析了新颖的蒸馏技术,即不同类型的蒸馏损失、教师和学生模型之间的特征交互等。此外,我们概述了基于 KD 的 OD 模型在特定数据集(如遥感图像和 3D 点云数据集)上的扩展应用。我们比较和分析了不同模型在几个常见数据集上的性能,并讨论了解决特定 OD 问题的有前景的方向。

Section II:The Categorization of KD-based Object Detection (OD) Methods

A. KD-based OD Methods Based on Different OD Tasks

(1) Novel KD-based OD Models for Conventional OD Tasks

传统的目标检测模型主要用于检测自然图像中大量常见的目标,引入知识蒸馏是为了获得性能更优的轻量级学生模型。然而,人们也设计出了许多使用基于知识蒸馏的传统目标检测模型的新方法。例如,一些方法采用基于对抗学习的策略,使学生模型能更精准地从教师模型中学习知识,而其他方法则设计了相关的损失函数来缩小学生模型与教师模型之间的差距。

(2) KD-Based OD Models to Solve Specific Problems

学术界已经提出了几种基于知识蒸馏(KD)的目标检测(OD)模型来解决特定的 OD 问题。例如,为了解决小目标检测(S - OD)问题,使用高分辨率图像在教师模型中进行知识蒸馏(跨分辨率知识蒸馏);为提高学生模型在低光照条件下的 OD 性能,将多模态信息引入教师模型(跨模态知识蒸馏)。此外,利用注意力机制的 KD 分支,结合不同网络层之间的高分辨率图像和特征蒸馏模块,来解决遥感图像中的多尺度 OD 问题。而且,出现了新的类别,模型更新过程中的灾难性遗忘问题也得到了考虑;通过引入金字塔网络和先验知识,还额外提出了相关的基于增量式 KD 的 OD 方法。

KD 也被引入到三维 OD 和基于视频的 OD 任务中,取得了更好的性能。此外,基于 KD 的弱监督 OD 也是一项特定的 OD 任务。虽然现有的相关工作主要关注如何使用不同的 KD 策略来提高模型性能,但对模型压缩的关注较少。因此,我们回顾了相关工作,包括如何引入语义信息、利用未标记图像以及设计相关策略来提高相应的 OD 模型性能。除了上述基于 KD 的 OD 模型,还有许多其他基于 KD 技术的扩展 OD 任务,包括关系检测、人 - 物交互(HOI)检测、车道检测、人脸检测、人物搜索、对象分割等。

B. KD-Based OD Methods Based on Different KD Strategies

视觉任务中使用的知识蒸馏(KD)策略多种多样。新颖且优化的 KD 策略能够显著提升知识转移和知识学习的效果。在这些基于 KD 的目标检测(OD)方法中,已经提出了多种先进的 KD 策略来提高 OD 模型的性能。例如,一些方法通过在教师模型和学生模型的不同网络层进行特征蒸馏来转移知识,并且设计了各种网络结构,使教师模型和学生模型能够从多模态数据中学习特征。此外,类似于人类教学活动,通过设计多个教师模型共同或逐步训练一个学生模型,可以提高学生模型的性能。教师模型和学生模型也可以相互学习视觉特征,或者使用各种损失函数进行自特征蒸馏。最后,不同类型的先验知识(对象掩码、语义上下文、文本信息等)可以用作训练轻量级学生模型的指导。

Section III:KD-Based Methodologies

A. The Basic Principles

知识蒸馏(KD)已被引入基于深度学习的目标检测(OD)模型中,用于改进模型压缩和模型性能。一种常见的知识蒸馏方式是使用不同类型的蒸馏损失来引导学生模型学习教师模型的知识。基于知识蒸馏的目标检测模型的一般损失函数可以表示如下:
在这里插入图片描述
其中Ldet是目标检测损失函数,Ldis是KD知识蒸馏损失函数,gamma是知识蒸馏的损失权重。

图2展示了基于目标检测(OD)的模型图。

在此,教师网络的输出被用作学生网络的软标签。针对特定的 OD 任务,人们已经提出了各种各样的特征蒸馏模块。然而,对许多现有相关工作中所采用的模型或算法进行综述后发现,基本网络框架依旧是基于 OD 模型来设计的 [49][50][51][52]。因此,我们通过分析将知识蒸馏(KD)技术引入传统两阶段和一阶段 OD 模型所提出的方法,推导出了基于 KD 的 OD 模型的基本原理。

在这里插入图片描述

目前,两阶段 OD 模型以 Faster R - CNN 作为主流网络框架,而 YOLO 和 SSD 是经典且应用广泛的一阶段 OD 模型 [16]。因此,当前公开的基于 KD 的 OD 模型是在这些基础的 OD 网络上进行探索的。如公式(1)所示,这些早期基于 KD 的 OD 模型的基本原理在于蒸馏损失函数。基于 KD 的 OD 模型在两阶段和一阶段 OD 网络上的总损失函数可总结如下:
在这里插入图片描述
其中Lclass是分类子任务损失函数,Lreg是回归子任务损失函数,Lhint是特征蒸馏损失函数。

值得注意的是,公式(2)仅呈现了蒸馏损失函数的基本形式;为了解决现有基于知识蒸馏(KD)的目标检测(OD)模型所遇到的问题,人们已经提出了众多不同类型的蒸馏损失函数。

此外,为了提高基于 KD 的 OD 模型的性能,人们还探索了各种类型的蒸馏模块、机制和策略。例如,存在多种先验信息引导模块 [21]、多教师网络 [37][53][54]、多模态数据蒸馏网络 [14][35][55]、自蒸馏网络 [38][56][57][58]、弱监督 OD 网络 [28][29][59][60] 等等。本文后续将对这些内容进行更详细的阐述和讨论。

B. Challenges

(1) The Balance Between Model Compression and Performance

知识蒸馏(KD)是一种有效的模型压缩技术,有效的知识转移有助于构建轻量级网络模型;这种轻量级模型更适合具有特定模型效率要求和设备性能限制的实际应用场景 [4][61][62]。复杂网络具有大规模的网络参数和较长的运行时间,这使其不适合此类实际应用 [63]。然而,轻量级网络从大规模复杂数据集中学习有效的视觉特征也具有挑战性 [4]。因此,必须在模型压缩和模型性能提升之间取得平衡。

(2) The Imbalance Between Multi-Modal Data Features

目前,大多数基于知识蒸馏(KD)的目标检测(OD)模型侧重于在图像领域内进行知识转移;只有少数工作尝试从其他模态数据(红外图像、深度图像、文本、指标数据等)中提取额外特征 [19][35][55]。多模态特征的引入对知识蒸馏是有益的。然而,一个更具挑战性的问题是如何处理多模态数据特征之间的不平衡问题。这里的 “不平衡” 是指不同模态的特征维度和语义信息存在显著差异。例如,从视觉数据和指标数据中提取的特征维度就存在明显不同。此外,RGB 图像的文本特征和视觉特征之间的语义特征差距,也使得利用文本信息来指导学生模型的视觉特征学习变得困难。因此,另一个挑战在于如何结合不平衡的多模态特征来引导学生模型进行特征学习 [19][64];需要为学生模型的学习设计新的特征融合机制或多模态信息引导机制。

(3) Designing or Selecting Superior Teacher and Student Models

知识蒸馏(KD)技术被用于将复杂教师模型所学的知识转移到轻量级学生模型中。一个最优的教师模型或者模型组合对引导学生模型的特征学习有着非常有利的影响。因此,教师模型和学生模型的选择对最终学生模型的性能有着非常重要的贡献 [53][65]。然而,由于存在许多用于目标检测(OD)的复杂模型和轻量级模型,针对特定的 OD 问题选择合适的教师模型和学生模型是很困难的。

C. Novel KD-Based OD Models for Conventional OD Tasks

对于传统的目标检测任务,研究人员试图设计出性能更优、模型结构更优化的目标检测方法 / 模型。因此,知识蒸馏(KD)被用于简化传统的目标检测模型(这些模型通常具有大量的网络参数),同时仍确保高检测准确率。此外,通过 KD 技术从多模态数据中提取各种类型的特征和先验知识,以不断提高目标检测模型的性能。

1) Traditional OD Model Compression Using KD

目前,基于卷积神经网络(CNN)的目标检测(OD)模型取得了卓越的性能,并且为了提高检测性能,设计出了越来越复杂、网络参数更多的网络模型。然而,由于性能限制,这些模型并不适合实际应用或在嵌入式设备上运行。因此,知识蒸馏(KD)技术和能够实现可靠性能的轻量级 OD 模型是解决这些问题的不错选择。在 KD 最初被引入时,很少有作品将其应用于 OD [66]。大约在 2017 年,许多基于 KD 的 OD 模型开始被提出,其主要动机是开发轻量级网络模型。Li等人提出了一种特征模仿架构feature mimic architecture,这可以被视为基于 KD 的 OD 框架的一种特殊情况 [49]。这些早期方法中的大多数旨在通过教师模型和学生模型之间的特征蒸馏或软标签蒸馏来获得压缩模型 [44][63][67][68],而其他一些应用则使用 KD 进行网络预训练 [69]。

一些方法还设计了一些基于知识蒸馏(KD)的目标检测(OD)方法,通过设计不同的类别平衡焦点损失函数来解决类别不平衡问题 [50]。此外,还提出了多尺度特征蒸馏损失函数来处理多尺度 OD 任务 [16],并且也探索了多重 KD,以使学生模型能够从多级特征图中学习特征,从而同时提取低级细节和高级抽象 [70]。2017 年,Chen 等人 [4] 提出了一种基于 KD 的检测模型,这可能是首次尝试将 KD 引入多类别 OD 任务。使用了两种类型的损失函数(加权交叉熵损失和教师边界损失)分别解决类别不平衡和回归组件问题。此外,KD 也可应用于多目标跟踪。例如,在 [71] 中,一个端到端的 KD 框架通过具有共享骨干网络的多任务网络实现多目标跟踪。

此外,这些模型的网络结构有许多相似之处。例如,使用教师模型的软标签进行知识蒸馏是最常见的方法,几乎在所有基于知识蒸馏(KD)的目标检测(OD)模型中都有采用。教师模型和学生模型卷积层之间的特征蒸馏也已被引入,用以提升目标检测性能。

与图像分类不同,目标检测(OD)不仅涉及对象的类别,还涉及对象的位置标签。因此,人们探索了标签分配蒸馏(Label Assignment Distillation,LAD)[72] 和定位蒸馏(Localization Distillation,LD)[73],以进一步提高对象定位的准确性。LAD [72] 是一种简单有效的知识蒸馏(KD)方法,可应用于大多数目标检测器。LAD 让学生模型使用教师网络间接从教师模型中学习知识,以生成和分配软标签,这与传统 KD 方法采用的途径有很大不同。值得注意的是,定位模糊在 OD 任务中普遍存在;因此,Zheng 等人 [73] 将蒸馏学习引入到 OD 网络的定位分支中,利用 LD 来改进对象定位。为了利用对象的位置信息,将教师网络生成的边界框分布蒸馏到学生网络中。因此,为了实现位置信息蒸馏,Zheng 等人 [74] 提出了有价值定位区域(Valuable Localization Region,VLR)的概念,它不同于由标签分配确定的主要蒸馏区域。这些作者设计了一种算法来获取这些 VLR,然后通过区域加权进行定位蒸馏。同样,为了解决由于忽视教师模型和 1 比特学生模型之间的信息差异,传统 KD 在蒸馏 1 比特检测器时效果较差的问题,提出了一种信息差异感知策略(Information Discrepancy - Aware Strategy,IDa - Det)[75]。IDa - Det 可用于根据信息差异选择代表性的候选框对,有利于蒸馏 1 比特检测器。此外,Yang 等人 [76] 考虑了焦点区域和全局区域特征之间的差异,然后将这些不同的特征不均衡地蒸馏到学生模型中。焦点特征图和全局特征图是从教师模型的颈部获得的,并且仅使用在特征图上计算的蒸馏损失进行特征蒸馏。同样使用软标签,Umer 等人 [77] 提出了一种用于显著预测的伪知识蒸馏(Pseudo - KD,PKD)训练方法。PKD 采用经典的 KD 架构,并且教师网络提供的伪标签用于将预测的显著图蒸馏到学生网络中。

上述方法使用单个教师模型对单个学生模型进行知识蒸馏(KD)。随后,引入了使用多个教师模型或学生模型来实现相互 KD 的基于 KD 的目标检测(OD)模型。例如,使用协同学习在多个学生模型之间进行相互 KD [78]。这种方法可以不断提高不同学生网络的泛化能力。它还可以进一步扩展到其他视觉任务,并用于优化多个相关任务的协同学习。

2) Personalized KD-Based OD Models

近年来,为提高目标检测(OD)的性能,研究人员构建了多个计算成本高昂的深度网络,这些网络需要大量存储空间,且运行耗时较长。这些网络复杂的设计也使得它们难以应用于现实场景中,例如在资源有限的设备上执行目标检测任务。解决这些问题的一种有效方法是通过模型压缩将大规模网络整合成轻量级网络 [51]。轻量级的学生模型学习多个教师模型的知识,并利用知识蒸馏(KD)策略对模型进行压缩,以缓解内存问题。值得注意的是,从多个教师模型中整合隐含知识所花费的时间也少得多。特别是,所谓的基于对抗学习策略监督的组装式轻量级网络 [51],提高了推理速度。文献 [79]、[80] 中提出的方法分别将教师模型和学生模型生成的特征图作为正样本和负样本,在教师模型和学生模型之间进行对抗模型训练,以提高学生模型在单阶段目标检测中的性能。还有另一种进行单阶段目标检测并通过对抗训练提升性能的方法 [79]、[81]。有时,如果用于教师模型训练的数据不可用,就会导致数据缺失问题。深度反演是一种从神经网络合成数据以解决该问题的方法。文献 [81] 中提出的方法是一种基于知识蒸馏(KD)的目标检测网络,旨在解决数据缺失问题。该方法通过一种名为 “DIODE” 的模型反演过程从预训练模型中合成图像,然后在这些合成图像上针对目标检测开展知识蒸馏操作。

此外,为了实现快速目标检测(OD),可以应用知识蒸馏(KD)策略将大规模且运行缓慢的教师模型所获取的知识转移到规模更小、运行速度更快的学生模型中 [82]。为了解决有用知识在复杂网络中分布不均的问题,提出了实例条件知识蒸馏(Instance - Conditional KD)[83],它用于定位有用知识,并通过对知识检索的辅助优化来解码知识检索的网络描述。

为了进一步优化目标检测(OD)网络,我们可以从师生关系的角度入手。从教师网络训练的严谨性角度来看,严格训练的教师网络具有更高的准确率。而且,研究人员认为教师应该更具包容性(峰值置信度分布更低)。因此,通过在教师网络中添加额外的损失,学生网络能够更好地学习类别之间的相似性,这有助于防止过拟合 [84]。
此外,众所周知,神经网络的预测结果往往缺乏可解释性;然而,我们有时需要这些解释来理解并能够信任某些系统(如驾驶辅助系统)的决策。目前,研究人员已经尝试参照语义概念来解释神经网络的预测结果。不过,这些方法会改变基础网络,进而影响模型的性能。因此,我们需要在不修改底层网络的情况下提供有意义的解释。为实现这一目标,一种事后可解释的黑箱模型 [85] 被开发出来,它可能是首个不会影响原始性能的生成式知识蒸馏(KD)可解释方法。
此外,李(Lee)等人 [86] 发现了教师模型和学生模型之间的特征不平衡问题,而传统的基于知识蒸馏(KD)的目标检测(OD)模型往往会忽视这一问题。这促使了共享知识编码器(Shared Knowledge Encoder,SKE)的诞生。在此方法下,教师模型和学生模型的多层特征被输入到共享知识编码器中进行统一编码,之后采用辅助解码器进行特征解码,以便利用平衡的特征进行知识蒸馏。

知识蒸馏 综述 Knowledge Distillation: A Survey Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey,论文地址:https://arxiv.org/abs/2006.05525 (有翻译不周之处,敬请指正) 1. Introduction 深度学习取得了巨大进步,但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效,主要有以下两个方向的研究: 高效的网络模块构建:如MobileNets, ShuffeNets . 阅读详情

相关推荐

【高速互连技术】合规性测试规范:物理层信号完整性与链路均衡验证系统设计

内容概要:本文档介绍了分析工具进行实践对照,并关注后续规范版本更新以确保符合最终发布标准。

万人睡眠健康与生活方式调查数据集

成年人群睡眠健康与生活方式研究数据集,合成模拟10000行20列单CSV文件,睡眠障碍标记人群占比约四分之一。设置双预测目标:睡眠障碍二分类字段与日间疲劳得分回归字段,可分别开展分类与回归建模。特征字段涵盖年龄、性别、十一种职业类别、每周工作时长、轮班工作标记、自我压力评分、身体质量指数BMI、吸烟状态、每周饮酒量、每日咖啡因摄入毫克数、睡前一小时屏幕使用时间、每周运动分钟数、日均步行数、静息心率、习惯就寝时间点、平均睡眠时长、睡眠质量自评等二十项。数据完整无缺失,结果列与特征列分离清晰,便于目标泄漏防范练习。适用场景:睡眠障碍预测建模、日间疲劳程度回归分析、咖啡因与睡前屏幕对睡眠时长的影响量化、不同职业群体睡眠质量对比研究、逻辑回归与梯度提升模型对比实战等。合成数据不含真实个人信息,适合健康数据分析教学、特征工程练习与机器学习课程实训项目使用。

FANUC-R2000iC165F-六轴机械臂码垛仿真

FANUC_R2000iC165F_六轴机械臂码垛仿真

frontend-design skills

frontend-design skills

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?.docx

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?

用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)

内容概要:本文围绕用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计展开研究,深入探讨了卡尔曼滤波在动态系统状态估计中的核心作用。文章系统阐述了卡尔曼滤波的数学基础,包括状态空间模型的建立、先验与后验状态估计、协方差矩阵的递推更新,以及最优增益矩阵的推导过程,确保在高斯白噪声环境下实现对系统状态的最小均方误差估计。结合Matlab代码实现,完整展示了算法从理论建模到仿真实验的全流程,涵盖系统建模、噪声设置、滤波迭代、状态更新与误差分析等环节,并通过仿真实验验证了算法在噪声干扰下对系统真实状态的高精度跟踪能力。该研究为控制工程、导航系统、信号处理及自动化领域中的状态估计问题提供了坚实的理论依据与高效的数值实现方案。; 适合人群:具备一定控制理论、概率统计基础和Matlab编程能力,从事自动化、电子信息、航空航天、机器人、导航定位等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①掌握卡尔曼滤波的基本原理及其在状态估计中的数学推导过程;②学习如何利用Matlab实现卡尔曼滤波算法并进行系统仿真与性能评估;③应用于目标跟踪、传感器融合、惯性导航、故障诊断、时间序列预测等实际工程中的动态状态估计问题。; 阅读建议:建议读者结合文中提供的Matlab代码进行动手实践,通过调整系统模型参数、过程噪声与观测噪声强度,观察滤波效果的变化,深入理解卡尔曼增益的自适应调节机制与MMSE估计的收敛特性。同时可进一步拓展学习扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)等非线性滤波方法,以应对更复杂的非线性系统状态估计挑战。

高校技术转移办公室人员如何提升成果转化服务效率?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

国央企创新负责人如何利用平台实现技术需求的精准挖掘与匹配?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

自适应多机器人编队规划,以包围和跟踪具有运动和可见性约束的目标(Matlab代码实现)

内容概要:本文提出了一种自适应多机器人编队规划方法,旨在实现对具有运动能力和可见性约束目标的高效包围与持续跟踪,采用Matlab进行算法实现与仿真验证。该方法综合考虑了多机器人系统在动态环境中的协同控制、编队形态生成与保持、障碍物规避以及目标可见性维护等关键问题,通过设计分布式控制律使编队能够根据目标行为和环境变化自适应调整队形与运动轨迹,确保稳定包围并最大化目标观测质量。文中详细阐述了系统的数学建模过程、控制策略设计原理及约束处理机制,并提供了多场景下的仿真实验结果,验证了所提方法在复杂条件下的鲁棒性、灵活性与有效性。; 适合人群:具备自动化、机器人学、控制理论或人工智能等相关领域基础知识的科研人员及研究生,熟悉Matlab编程环境并致力于多智能体系统、协同控制、路径规划或智能无人系统研究的专业人士。; 使用场景及目标:①应用于多机器人系统在监视、围捕、搜救等任务中对移动目标的协同包围与跟踪控制;②为研究分布式编队控制、可见性优化、动态避障与多智能体协同决策等核心技术提供可复现的算法实例与理论支撑; 阅读建议:建议读者结合提供的Matlab代码逐模块分析算法实现细节,重点关注控制律设计、约束建模与仿真结果对比部分,宜在仿真环境中调整参数配置以深入理解系统性能边界与优化潜力。

考虑风光火储+需求响应+P2G多能源系统NSGA-II多目标优化调度(Matlab代码实现)

考虑风光火储+需求响应+P2G多能源系统NSGA-II多目标优化调度(Matlab代码实现)内容概要:本文介绍了基于NSGA-II多目标优化算法对包含风能、光伏、火电、储能系统、需求响应及电转气(P2G)等多种能源形式的综合能源系统进行优化调度的研究,采用Matlab进行代码实现。研究综合考虑了系统运行成本、碳排放、能源利用率等多个优化目标,通过建立精确的数学模型,结合可再生能源出力不确定性、负荷波动以及需求响应机制,实现多能源协同调度的帕累托最优解集求解,旨在提升能源系统的经济性与环保性,并验证所提方法的有效性和实用性。; 适合人群:具备一定电力系统、优化算法及Matlab编程基础的研究生、科研人员以及从事能源系统规划与运行相关工作的工程技术人员。; 使用场景及目标:①应用于多能源互补的综合能源系统优化调度研究;②为实现低碳、高效、可靠的能源供应提供决策支持;③学习和掌握NSGA-II算法在复杂多目标优化问题中的实际应用方法。; 阅读建议:建议读者结合Matlab代码与文中模型描述逐步理解算法实现流程,重点关注目标函数构建、约束处理及Pareto解集的生成与分析,有条件者可进一步修改参数或扩展模型以深化理解。

树莓派上基于ONNXRuntime与Qt的C++模型部署实战指南

本文详细介绍了在树莓派上使用ONNXRuntime与Qt进行C++模型部署的完整流程。从环境配置、依赖安装到交叉编译优化,再到Qt界面集成与ARM架构性能调优,提供了实战指南和常见问题解决方案,帮助开发者高效完成边缘设备上的AI应用部署。

ik6789012的博客 341

DEV-C++调试设置

       昨天用C/C++去考了CSP,结果用DEV-C++调试总是闪退,按照我的记忆打开了调试参数,迷迷糊糊搞了一通,还是没办法调试,难受了几个小时。所以今天痛下决心,一定要写下DEV-C++设置调试的过程,警示自己! 解决步骤 1.打开DevC++找到上方工具栏 2.点击选择编译选项,再按下图所示设置即可

懒羊羊的快乐小屋 1029

CKEditor5富文本编辑器 - 视频引入、预览及自定义toolbar

文章目录定义遇到的问题视频部分引入媒体url失败原因解决方法:自定义视频provider视频预览及页面不显示视频问题解决方案:H5 \标签如何移除toolbar中的部分插件 一个小后端很少接触前端框架,只能在知识的海洋中漂泊。。。 定义 <script src="https://cdn.ckeditor.com/ckeditor5/16.0.0/classic/ckeditor.js"&gt...

huhui806的博客 8198

虚拟机器人平台CoppeliaSim(Vrep)的逆运动学教学

相信看这篇博客的人都知道CoppeliaSim是做什么的,因此这里不多赘述。CoppeliaSim从最早的Vrep到现在已经更新了N个版本,从过去Vrep3.x开始使用的我这里小小地吐槽一下这个软件。CoppeliaSim每一个版本都有更新,问题是这些更新有时候不能向前兼容,而且时不时更新地让人不知所措(对于有紧急任务的时候真的很火大啊)。 以本文所展示地逆运动学来说,CoppeliaSim在4.0.0之后又大变,推翻了过往所有的拖动模块链接之类的构建方式,转而采用直接通过代码来实现逆运动学。 简单版逆运动

qq_39243015的博客 6701

Unity的粒子系统使用shadergraph(内置管线)制作的一个顶点偏移shader,但是粒子模型移动时,顶点也会偏移?

🏆本文收录于 《全栈Bug调优(实战版)》 专栏,该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因,并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者,还是拥有多年项目经验的资深工程师,本专栏都将为你提供一条系统化、高质量的问题排查与优化路径,助力你加速成长,攻克技术壁垒,迈向技术价值最大化与职业发展的更高峰🚀!

**My Coding Family** 1174

Pareto 优化 (Pareto Optimization) 算法详解及案例分析

Pareto 最优解是指在多目标优化问题中,无法通过改进一个目标而不损害其他目标的解。具体来说,对于一个解x∗x^*x∗,如果不存在另一个解xxx使得所有目标函数fixf_i(x)fi​x都不劣于fix∗f_i(x^*)fi​x∗,且至少有一个目标函数fjxf_j(x)fj​x优于fjx∗f_j(x^*)fj​x∗,则x∗x^*x∗是 Pareto 最优解。

闲人编程的博客 2766

PID、模糊PID、SkyHook、LQR、H2/H∞、ADRC等悬架控制合集

PID、模糊PID、SkyHook、LQR、H2/H∞等悬架控制合集

Mr.邹的博客 2017

51单片机 DHT11温湿度传感器LCD显示+串口打印+Proteus仿真

DHT11+LCD1602+串口输出+Proteus仿真

perseverance51博客 7201

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 典型常见的知识蒸馏方法总结三
下一篇: 典型常见的基于知识蒸馏的目标检测方法总结一
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值