如何用知识蒸馏(Knowledge Distillation)把大模型压缩到手机端?手把手教你PyTorch实现

知识蒸馏:《Distilling the Knowledge in a Neural Network》算法介绍及PyTorch代码实例 知识蒸馏开山之作《Distilling the Knowledge in a Neural Network》算法介绍及PyTorch代码实例 阅读详情

如何将大模型“装”进手机:知识蒸馏实战与移动端部署全解析

你是否曾惊叹于手机上那些流畅运行的智能应用,它们能实时翻译、精准识图,甚至与你进行复杂的对话?这些功能背后,往往是参数量动辄数十亿、数百亿的大型模型在支撑。然而,手机的计算能力、内存和电池续航都有限,如何让这些“庞然大物”在移动端轻盈起舞?这正是知识蒸馏技术大显身手的舞台。

知识蒸馏,简而言之,是一种让“大老师”教“小学生”的巧妙方法。一个已经训练好、能力强大的大型模型(教师模型)将其学到的“知识”——不仅仅是最终的判断结果,更包括其内部的“思考逻辑”和类别间的关联信息——传授给一个结构更简单、体积更小的模型(学生模型)。最终,这个学生模型能以远低于老师的资源消耗,实现接近甚至在某些方面超越老师的性能。对于希望在移动端、边缘设备上部署智能功能的开发者而言,掌握知识蒸馏的完整流程,从模型训练、压缩到最终的移动端转换,是一项极具价值的核心技能。本文将抛开理论空谈,直接切入实战,手把手带你用PyTorch实现从蒸馏训练到移动端(以Android为例)部署的全过程,涵盖关键的TensorRT转换、量化技巧以及实际部署中那些容易踩坑的细节。

1. 知识蒸馏的核心原理与PyTorch实现基础

在开始动手之前,我们需要透彻理解知识蒸馏究竟在学什么。传统的模型训练依赖于“硬标签”,例如一张猫的图片,标签就是[0, 1, 0](假设类别为[狗,猫,虎])。而教师模型会输出一个“软标签”,比如[0.05, 0.9, 0.05]。这个分布蕴含了更丰富的信息:模型非常确信这是猫,但也承认它与狗、虎有微小的相似性。这种类别间的相对关系,就是学生模型需要从老师那里继承的宝贵“暗知识”。

蒸馏损失是知识传递的桥梁。最经典的实现是使用Kullback-Leibler散度来衡量学生模型输出分布与教师模型软化后输出分布的差异。同时,为了确保学生不偏离真实目标,我们还需要结合传统的交叉熵损失(与真实硬标签计算)。因此,总损失函数通常是二者的加权和。

让我们用PyTorch来构建一个最基础的蒸馏训练框架。假设我们已有一个预训练好的教师模型teacher_model和一个待训练的学生模型student_model。

import torch
import torch.nn as nn
import torch.nn.functional as F

class KnowledgeDistillationLoss(nn.Module):
    def __init__(self, temperature=4.0, alpha=0.7):
        super().__init__()
        self.temperature = temperature
        self.alpha = alpha  # 蒸馏损失权重
        self.ce_loss = nn.CrossEntropyLoss()
        self.kl_loss = nn.KLDivLoss(reduction='batchmean')

    def forward(self, student_logits, teacher_logits, labels):
        # 计算与真实标签的交叉熵损失(硬损失)
        hard_loss = self.ce_loss(student_logits, labels)

        # 软化教师和学生的logits
        soft_teacher = F.softmax(teacher_logits / self.temperature, dim=-1)
        soft_student = F.log_softmax(student_logits / self.temperature, dim=-1)

        # 计算KL散度损失(软损失)
        soft_loss = self.kl_loss(soft_student, soft_teacher) * (self.temperature ** 2)

        # 组合损失
        total_loss = (1.0 - self.alpha) * hard_loss + self.alpha * soft_loss
        return total_loss, hard_loss, soft_loss

提示:温度参数T是蒸馏中的关键超参数。T值越大,教师输出的概率分布越平滑,蕴含的类别间关系信息越丰富;T值越小,则越接近原始的one-hot分布。通常需要根据任务进行调整,T=3到T=10是常见的探索范围。

在实际训练循环中,我们需要同时前向传播教师模型和学生模型,但只对学生模型的参数进行更新。教师模型的参数应被冻结(requires_grad=False)。

# 训练循环片段示例
distill_criterion = KnowledgeDistillationLoss(temperature=4.0, alpha=0.7)
optimizer = torch.optim.Adam(student_model.parameters(), lr=1e-4)

teacher_model.eval()  # 教师模型始终处于评估模式
student_model.train()

for images, labels in dataloader:
    images, labels = images.to(device), labels.to(device)

    with torch.no_grad():  # 不计算教师模型的梯度
        teacher_logits = teacher_model(images)

    student_logits = student_model(images)

    loss, hard_loss, soft_loss = distill_criterion(student_logits, teacher_logits, labels)

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

这个基础框架是蒸馏训练的起点。然而,要让一个学生模型真正在手机上跑得好,我们还需要考虑更多。

2. 针对移动端的学生模型架构选择与设计

选择一个合适的学生模型架构,是成功的第一步。目标是在有限的算力(CPU/低功耗GPU/NPU)和内存约束下,实现最佳的精度-速度平衡。以下是一些经过实战检验的、适合移动端的骨干网络:

模型架构核心特点适用场景参数量级 (约)备注
MobileNet系列 (v2, v3)深度可分离卷积,引入SE注意力模块,硬件友好图像分类、目标检测3M - 5MGoogle出品,生态完善,TensorFlow Lite有深度优化
ShuffleNet系列 (v2)通道洗牌操作,极大降低计算量,内存访问效率高图像分类、语义分割2M - 5M特别注重实际推理速度,而非仅FLOPs
EfficientNet-Lite复合缩放,均衡调整深度、宽度、分辨率图像分类、目标检测4M - 10M精度与效率的标杆,有官方移动端优化版本
GhostNet通过廉价操作生成更多特征图,减少冗余计算图像分类3M - 7M华为提出,在同等精度下计算量更少
TinyBERT / DistilBERT (NLP)层数减少,隐藏层维度降低,Transformer蒸馏专用文本分类、问答10M - 50M针对Transformer模型的蒸馏压缩

设计学生模型时的关键考量:

  • 与教师模型的对齐:如果希望进行特征蒸馏(让学生中间层的特征图模仿老师),则需要考虑学生与教师网络中间层的对应关系。有时需要添加额外的适配层(1x1卷积或全连接层)来匹配特征图的通道数。
  • 激活函数:在移动端,优先选择计算简单的激活函数,如ReLU6(MobileNet使用),它限制了最大输出值,有利于后续的量化。
  • 标准化层:BatchNorm在训练中很有效,但在某些推理引擎中可能引入开销。可以考虑将其与卷积层融合(fold),或探索其他归一化方式。

以下是一个简化的、兼容特征蒸馏的MobileNetV2模块示例:

class InvertedResidualWithFeatureHook(nn.Module):
    def __init__(self, inp, oup, stride, expand_ratio):
        super().__init__()
        self.stride = stride
        hidden_dim = int(round(inp * expand_ratio))
        self.use_res_connect = self.stride == 1 and inp == oup

        layers = []
        if expand_ratio != 1:
            layers.append(nn.Conv2d(inp, hidden_dim, 1, 1, 0, bias=False))
            layers.append(nn.BatchNorm2d(hidden_dim))
            layers.append(nn.ReLU6(inplace=True))
        layers.extend([
            nn.Conv2d(hidden_dim, hidden_dim, 3, stride, 1, groups=hidden_dim, bias=False),
            nn.BatchNorm2d(hidden_dim),
            nn.ReLU6(inplace=True),
            nn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),
            nn.BatchNorm2d(oup),
        ])
        self.conv = nn.Sequential(*layers)
        # 用于特征蒸馏的钩子点
        self.feature = None

    def forward(self, x):
        out = self.conv(x)
        if self.use_res_connect:
            out = x + out
        self.feature = out  # 保存该层输出,供蒸馏损失计算
        return out

3. 高级蒸馏策略与训练技巧

基础的知识蒸馏能带来提升,但要逼近甚至超越教师模型的性能,尤其是在学生模型极度轻量的情况下,需要更精细的策略。

3.1 多阶段蒸馏与渐进式蒸馏

试图让一个极小的学生模型一步到位地学会庞大教师的所有知识是困难的。渐进式蒸馏将这个过程分解:

  1. 先蒸馏一个“中号”学生:使用教师模型蒸馏一个参数量中等(例如教师模型的1/4)的中间模型。
  2. 再蒸馏“小号”学生:用这个“中号”学生作为新的老师,去蒸馏最终的目标“小号”学生模型。

这种方法降低了每次蒸馏的难度差距,往往能获得更好的最终效果。在代码实现上,这意味着你需要训练两个学生模型,并管理两个训练阶段。

3.2 特征蒸馏与注意力蒸馏

除了最终输出的软标签,教师模型中间层的特征图和注意力图也富含信息。

  • 特征蒸馏:让学生模型某些层的特征图与教师模型对应层的特征图尽可能相似。损失函数通常使用均方误差(MSE)或余弦相似度。
    def feature_distillation_loss(student_feat, teacher_feat):
        # 假设已通过适配层对齐了通道数
        loss = F.mse_loss(student_feat, teacher_feat)
        # 或使用更稳定的余弦嵌入损失
        # loss = 1 - F.cosine_similarity(student_feat.flatten(1), teacher_feat.flatten(1)).mean()
        return loss
    
  • 注意力蒸馏(针对Transformer):让学生模型的注意力权重分布模仿教师模型。这对于压缩BERT等模型至关重要。

3.3 数据增强与教师集成

  • 更强数据增强:对学生模型使用比训练教师时更强的数据增强(如RandAugment、MixUp),可以提高其泛化能力,弥补容量小的不足。
  • 多教师蒸馏:集成多个不同架构或不同训练阶段的教师模型,为学生提供更全面、更稳健的知识指导。损失函数变为多个教师损失的平均。

一个综合了多种损失的训练循环核心可能如下所示:

total_loss = 0.0
# 1. 输出logits的蒸馏损失
loss_kd, _, _ = kd_criterion(student_logits, teacher_logits, labels)
total_loss += weight_kd * loss_kd

# 2. 中间层特征蒸馏损失
for s_feat, t_feat in zip(student_features, teacher_features):
    loss_feat = feature_distillation_loss(s_feat, t_feat)
    total_loss += weight_feat * loss_feat

# 3. 原始任务损失(硬标签)
loss_ce = F.cross_entropy(student_logits, labels)
total_loss += weight_ce * loss_ce

4. 模型量化、转换与移动端部署实战

训练出一个性能满意的学生模型后,真正的挑战在于如何将其高效地部署到手机端。这一步的核心是模型转换与优化。

4.1 动态量化与静态量化(Post-Training Quantization)

量化将模型参数和激活从32位浮点数(FP32)转换为低精度整数(如INT8),能显著减少模型体积、提升推理速度,并降低功耗。

  • 动态量化:PyTorch原生支持,仅量化权重,激活值在推理时动态量化。实现简单,但加速比有限。
    import torch.quantization
    
    # 动态量化(权重INT8,激活FP32)
    model_dynamic_quantized = torch.quantization.quantize_dynamic(
        student_model, {nn.Linear, nn.Conv2d}, dtype=torch.qint8
    )
    torch.jit.save(torch.jit.script(model_dynamic_quantized), 'model_quantized.pth')
    
  • 静态量化:需要一个小规模的校准数据集来统计激活值的分布范围,从而确定量化参数。能获得更好的性能提升,但过程稍复杂。
    # 静态量化示例步骤
    model_fp32 = student_model.eval()
    model_fp32.qconfig = torch.quantization.get_default_qconfig('fbgemm') # x86
    # 或 'qnnpack' (ARM CPU)
    
    model_fp32_prepared = torch.quantization.prepare(model_fp32)
    # 用校准数据跑一遍模型
    with torch.no_grad():
        for data in calibration_dataloader:
            model_fp32_prepared(data)
    model_int8 = torch.quantization.convert(model_fp32_prepared)
    

4.2 转换为移动端格式:TorchScript -> ONNX -> TensorRT / NCNN / MNN

  1. 导出为TorchScript:这是PyTorch模型部署的第一步,将动态图转换为静态图。
    example_input = torch.randn(1, 3, 224, 224)
    traced_script_module = torch.jit.trace(student_model.eval(), example_input)
    traced_script_module.save("student_model.pt")
    
  2. 转换为ONNX:ONNX是一个开放的模型格式,是连接不同框架和推理引擎的桥梁。
    # 在Python中转换
    torch.onnx.export(student_model, example_input, "student_model.onnx",
                      opset_version=13,
                      input_names=['input'],
                      output_names=['output'],
                      dynamic_axes={'input': {0: 'batch_size'}, 'output': {0: 'batch_size'}})
    
  3. 针对特定引擎优化:
    • TensorRT (NVIDIA GPU): 使用trtexec工具或TensorRT Python API将ONNX模型转换为高度优化的TensorRT引擎(.plan文件)。它会进行层融合、内核自动调优等深度优化。
      trtexec --onnx=student_model.onnx --saveEngine=student_model.plan --fp16
      
    • NCNN (腾讯开源) 或 MNN (阿里开源):适用于移动端CPU甚至部分NPU。它们提供了专门的工具将ONNX转换为其自有格式,并进行了极致的ARM指令集优化。
    • TFLite (Google):如果你使用TensorFlow或PyTorch导出为TFLite格式,这是Android端最原生的选择之一,支持GPU委托和NNAPI委托。

4.3 Android端集成示例(使用TFLite)

假设我们已获得一个量化后的TFLite模型student_model_quant.tflite。

  1. 将模型放入Assets:将模型文件放入Android项目的app/src/main/assets/目录。
  2. 添加依赖:在app/build.gradle中添加TFLite依赖。
    dependencies {
        implementation 'org.tensorflow:tensorflow-lite:2.14.0'
        implementation 'org.tensorflow:tensorflow-lite-gpu:2.14.0' // 可选,GPU支持
    }
    
  3. 加载与运行模型(Java示例):
    try (Interpreter interpreter = new Interpreter(loadModelFile(context))) {
        // 准备输入输出张量
        float[][][][] input = new float[1][224][224][3];
        float[][] output = new float[1][NUM_CLASSES];
    
        // 运行推理
        interpreter.run(input, output);
    
        // 处理输出结果
        processResults(output[0]);
    }
    
    private MappedByteBuffer loadModelFile(Context context) throws IOException {
        AssetFileDescriptor fileDescriptor = context.getAssets().openFd("student_model_quant.tflite");
        FileInputStream inputStream = new FileInputStream(fileDescriptor.getFileDescriptor());
        FileChannel fileChannel = inputStream.getChannel();
        long startOffset = fileDescriptor.getStartOffset();
        long declaredLength = fileDescriptor.getDeclaredLength();
        return fileChannel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength);
    }
    
  4. 性能调优:
    • 使用Interpreter.Options()设置线程数。
    • 尝试启用GPU委托(GpuDelegate())或NNAPI委托(NnApiDelegate()),这可能会带来显著的加速,但需要实际测试兼容性和效果。
    • 对于输入数据,考虑使用ByteBuffer直接存储量化后的INT8数据,避免在Java层进行额外的数据类型转换。

4.4 部署后的监控与迭代

模型部署上线并非终点。你需要关注:

  • 线上性能指标:在真实用户设备上的平均推理延迟、峰值内存占用、耗电量。
  • 精度验证:收集少量线上数据,验证模型在实际场景中的精度是否与测试集一致,是否存在数据分布漂移。
  • A/B测试:对比新蒸馏模型与旧模型的核心业务指标,确保压缩没有带来不可接受的性能下降。

整个流程走下来,你会发现,将一个大型模型成功压缩并部署到手机端,是一个融合了算法设计、工程优化和实际调试的综合性项目。从选择合适的蒸馏策略开始,到精心设计学生模型,再到训练调参,最后完成极致的移动端优化,每一步都需要耐心和细致的实验。我曾在将一个百兆级别的视觉模型压缩到5兆以下的项目中,花了大量时间在寻找教师与学生模型中间层的最佳匹配关系上,最终发现,在某个瓶颈层之后进行特征蒸馏,效果远好于在最终输出层。这种经验性的“窍门”,往往需要在具体任务中反复尝试才能获得。

模型蒸馏(Knowledge Distillation)完全指 模型蒸馏是一种让大模型(老师)指导小模型(学生)的技术,通过传递"暗知识"(如类别间的概率关系)来提升小模型性能。核心原理是利用温度参数软化输出分布,使学生模型不仅能学习硬标签,还能捕捉老师模型输出的软标签中的丰富信息。蒸馏过程包含三个关键要素:温度参数、软硬标签结合以及双重损失函数。主要分为三种类型:答案蒸馏(直接模仿输出)、特征蒸馏(学习中间层表征)和流程蒸馏(复制推理过程)。完整流程包括数据生成、清洗和微调学生模型。蒸馏技术能有效压缩模型规模,但也面临知识迁移不完整等挑战。 阅读详情

相关推荐

知识蒸馏Knowledge Distillation原理与代码实例讲解

知识蒸馏Knowledge Distillation原理与代码实例讲解 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM

AI天才研究院 1881

基于知识蒸馏Knowledge Distillation模型压缩pytorch实现

在弄懂原理基础上,从本篇博客开始,逐步介绍基于知识蒸馏的增量学习、模型压缩的代码实现。毕竟“纸上得来终觉浅,绝知此事要躬行。”。 先从最经典的Hilton论文开始,先实现基于知识蒸馏的模型压缩。相关原理可以参考博客:https://blog.youkuaiyun.com/zhenyu_an/article/details/101646943, 既然基本原理是用一个已训练的teacher网络,去教会一个st...

zhenyu_an的博客 1万+

从Power到HO:一文搞懂主流脑图谱在DPABI里怎么选,让你的rs-fMRI分析更精准

本文深入解析了rs-fMRI分析中主流脑图谱(如Power、HO、AAL等)在DPABI中的科学选择策略,帮助研究者根据不同的神经科学研究目标优化分析流程。从解剖学图谱到功能连接图谱的特性对比,到DPABI实操中的多图谱分析工作流,提供了全面的方法论指导,助力提升静息态功能磁共振成像(rs-fMRI)研究的精准度和可重复性。

weixin_30654583的博客 405

【学习总结+论文复现】知识蒸馏Knowledge Distillation学习一条龙(完结)

本文章以2020年《Contrastive Representation Distillation》的知识蒸馏技术为学习基础来学习知识蒸馏技术。此外还涉及了最新的知识蒸馏方法。例如,DKD,KD++,Review KD,多出口网络+集成学习KD,DisWOT,MSFF,CMKD,CTKD,MGD,PEFD,SimKD,Logits标准化KD,SDD。

qq_739988982的博客 2万+

雷达气象学(8)——反射率因子图实战(强对流预警篇)

本文聚焦雷达反射率因子图在强对流预警中的实战应用,深入解析了柱状回波、有界弱回波区(BWER)、三体散射(TBSS)等关键回波结构特征,这些是识别超级单体风暴和大冰雹的核心“身份证”。文章强调从静态识别转向动态追踪与多源数据综合研判的思维转变,并提供了系统的实战分析流程与常见误区避坑指南,旨在提升对强对流天气的短临预警能力。

weixin_29213827的博客 487

PDMS二次开发入门:手把手教你用PML2写第一个交互式窗体工具

本文详细介绍了如何使用PML2进行AVEVA PDMS二次开发,从零开始构建交互式窗体工具。通过PML2语言的面向对象特性、即时调试能力和深度系统集成优势,开发者可以高效创建自动化设计工具、批量修改属性和定制报表系统。文章包含开发环境配置、基础语法、窗体架构设计、事件处理等实战内容,帮助读者快速掌握PDMS二次开发技能。

weixin_29281941的博客 276

知识蒸馏(Knowledge Distillation)简述

知识蒸馏是一种机器学习技术,其核心思想是将一个复杂的大模型(称为"教师模型")的知识转移到一个更小的模型(称为"学生模型")中。这就像是一个经验丰富的老师指导学生一样。

u014177256的博客 3994

Keil开发中CMSIS Driver API缺失问题的排查与解决

本文详细解析Keil开发中CMSIS Driver API缺失问题的根源与解决方案。针对版本不匹配、安装不完整等常见原因,提供在线与离线安装的对比及详细排查步骤,重点涵盖版本兼容性分析与项目配置验证,帮助开发者彻底解决API缺失错误并预防问题复发。

rust6ferris的博客 551

Knowledge Distillation(KD) 知识蒸馏 & Pytorch实现

2015年由Hinton提出这个概念

hxxjxw的博客 2126

告别OpenAI API调用:手把手在本地CPU/GPU上部署fast-whisper中文语音识别模型

本文详细指导如何在本地CPU/GPU上部署fast-whisper中文语音识别模型,摆脱对OpenAI API的依赖。从环境准备、模型获取与优化,到CPU/GPU环境的具体部署步骤和性能优化技巧,全面覆盖本地化语音识别的实现方案,帮助开发者提升效率并保障数据隐私。

weixin_29988907的博客 310

基于Matlab的自动泊车系统开发:利用模糊控制实现智能停车解决方案的详细教程

Matlab是一种广泛应用于科学计算、工程建模与仿真的编程语言,其强大的工具箱和简洁的编程语法,使其成为开发自动泊车系统的理想选择。在开始编写代码之前,我们需要搭建Matlab的工作环境,并熟悉相关的工具箱,如Fuzzy Logic Toolbox,用于实现模糊控制。首先,确保你已经安装了Matlab软件,并加载了必要的工具箱。接下来,我们将逐步讲解如何在Matlab中实现自动泊车系统。

qq_38334677的博客 664

什么是 知识蒸馏(Knowledge Distillation,KD)

知识蒸馏(Knowledge Distillation,KD)是一种模型压缩和加速技术,通过将一个复杂、性能强大的大模型(称为教师模型,Teacher Model)的知识迁移到一个较小、轻量的模型(称为学生模型,Student Model),使学生模型在保持较小规模的同时,尽量接近教师模型的性能。知识蒸馏常用于深度学习模型优化,尤其在资源受限的场景(如移动设备、边缘设备)中。一个使用PyTorch实现知识蒸馏的示例,展示如何训练一个学生模型(MobileNet)以学习教师模型(ResNet-18)的知识,基

彬彬侠的博客 1600

Allegro如何导入芯片的Pin Delay?

Allegro在做等长时,需要导入芯片的Pin Delay才能做真正的等长。因为有些芯片内部的引脚本身就是不等长的,例如海思的部分芯片。在右栏找到芯片U1,然后在Pin Delay栏下找一个PIN脚随便输入一个数值,这一步的目的是导出Pin Delay.csv文件的格式。4、用这份文件的格式,重新编辑需要导入芯片的Pin Delay,然后选择菜单File→Import→Pin delay。2、回到PCB,选择菜单File→Export→Pin delay,导出Pin Delay。

bhxc809751502的博客 5148

从零开始实现知识蒸馏:基于Awesome Knowledge Distillation的完整代码教程

知识蒸馏是一种强大的模型压缩技术,能够将大型深度学习模型(教师模型)的知识迁移到小型模型(学生模型)中,在保持性能的同时显著减少计算资源需求。本教程将基于 **Awesome Knowledge Distillation** 项目,带你从零开始实现知识蒸馏,适合深度学习入门者和希望优化模型部署的开发者。 ## 什么是知识蒸馏?为什么需要它? 🤔 知识蒸馏(Knowledge Distilla

gitblog_00467的博客 482

SmartFusion从FPGA到ARM(九)——串口命令解析器的实现

系列教程:SmartFusion从FPGA到ARM系列教程 前面两节介绍了MSS_UART和CoreUARTapb的使用: MSS_UART的使用 CoreUARTapb的使用 MSS_UART和CoreUARTapb都支持中断和轮询方式获取串口接收的数据,对于串口中断服务函数,有时我们需要通过不同的串口指令去执行不同的动作,下面以CoreUARTapb为例,来实现一个简单的串口命令解析器。固定串口数据帧格式,帧长度不定。 串口数据帧格式:* + 数据 + #,对于数据中为参数的,可以自定义处理函数。例

whik1194的博客 1537

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

知识蒸馏(Knowledge Distillation)的Pytorch实现以及分析

       知识蒸馏(Knowledge Distillation)的概念由Hinton大神于2015年在论文《Distilling the Knowledge in a Neural Network》中提出,论文见:https://arxiv.org/abs/1503.02531。此方法的主要思想为:通过结构复杂、计算量大但是性能优秀的教师神经网络,对结构相对简单、计算量较小的学生神经网络进行...

小石的博客 2万+

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

终极知识蒸馏工具包:Awesome Knowledge Distillation中所有实现框架的详细对比

知识蒸馏(Knowledge Distillation)作为模型压缩与迁移学习的核心技术,已成为人工智能领域的研究热点。Awesome Knowledge Distillation项目汇集了近百种知识蒸馏方法的实现框架,为开发者提供了从经典算法到前沿研究的完整工具链。本文将深入对比这些框架的技术特点、适用场景和性能表现,帮助你快速找到最适合项目需求的知识蒸馏解决方案。 ### 主流框架技术特点对

gitblog_00129的博客 825

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

蒸馏论文四(Relational Knowledge Distillation)

本文介绍一种知识蒸馏的方法(Relational Knowledge Distillation)。 1. 核心思想 作者提出迁移样本间的关系(结构信息)会优于迁移单个样本的特征。例如:两个样本间的距离,三个样本间的角度。传统KD和Relational KD的对比如下。 2. 损失函数 分为样本间距离损失和样本间角度损失两个部分。 1.1 样本间距离损失 样本间距离损失L为 其中,fai为样本特征图间的距离 损失函数采用的是Huber函数。它基本上是绝对值,在误差很小时会变为平方值。 1.2 样本间

蓝鲸鱼的博客 2053

知识蒸馏性能对比:为什么knowledge-distillation-pytorch是您的理想选择

knowledge-distillation-pytorch是一个基于PyTorch的知识蒸馏框架,专为探索深度与浅层神经网络知识蒸馏(KD)实验而设计,提供灵活高效的硬件解决方案。该项目支持超参数搜索、结果合成与可视化,让您轻松实现教师模型向学生模型的知识迁移。 ## 🚀 核心优势:超越传统训练的性能提升 ### 1. 显著提升模型精度的"黑知识"迁移 知识蒸馏通过传递教师模型的"黑知识"

gitblog_00914的博客 333

Windows-MCP 快速上手:3 步接入,让 AI 替你操作 Windows 桌面的完整指南

批量重命名文件夹、把表格数据一条条敲进系统、替人盯着页面刷新——这类重复劳动最适合交给脚本,但脚本往往要为每个场景单独写。Windows-MCP 走的是另一条路:它是一个运行在 Windows 上的 MCP 服务器,把 LLM 与操作系统接起来,让 AI 代理直接完成文件导航、应用控制、UI 交互和界面测试,你只管用自然语言下指令。下文先演示它能干什么,再讲怎么装、能覆盖哪些操作、有哪些坑要避开。

gitblog_00670的博客 411

structure_knowledge_distillation 入门指南:从论文到代码实现的完整路径

如果你正在寻找一种高效的知识蒸馏方法来提升密集预测任务(如语义分割、目标检测、深度估计)的性能,那么结构化知识蒸馏(Structured Knowledge Distillation)正是你需要的终极解决方案。本文将为你提供从理论到实践的完整指南,帮助你快速掌握这个CVPR 2019 Oral论文的核心技术并上手使用。 ## 🎯 什么是结构化知识蒸馏? 结构化知识蒸馏是一种先进的模型压缩技术

gitblog_00241的博客 936

KD_Lib文本知识蒸馏实战:BERT大模型压缩成轻量LSTM的完整流程

BERT 虽然强大,但动辄上亿参数,部署成本高、推理速度慢。**知识蒸馏(Knowledge Distillation)**正是解决这一痛点的利器:用一个轻量学生模型(如 LSTM)去学习大模型 BERT 的"软知识",在保住精度的同时大幅压缩体积。本文将基于开源库 **KD_Lib**,为你完整演示如何把 BERT 压缩成轻量 LSTM 的实战流程,新手也能跟着一步步跑通。 ## 为什么要做

gitblog_00918的博客 649

知识蒸馏在现代AI中的5大应用场景:Awesome Knowledge Distillation实战指南

知识蒸馏(Knowledge Distillation)作为一种高效的模型压缩与知识迁移技术,正成为现代AI部署的关键工具。Awesome Knowledge Distillation项目汇集了150余篇相关研究论文与200+实现代码,为开发者提供了从理论到实践的完整资源库。本文将深入解析知识蒸馏的五大核心应用场景,帮助新手快速掌握这一技术的实用价值。 ### 1. 移动端与边缘设备部署:让AI

gitblog_00314的博客 1051

推荐开源项目:Knowledge Distillation Toolkit —— 模型压缩的利器

推荐开源项目:Knowledge Distillation Toolkit —— 模型压缩的利器 在当今机器学习和深度学习领域,模型的体积和计算复杂度往往成为实际应用中的瓶颈。为了解决这一问题,Knowledge Distillation Toolkit 应运而生。本文将详细介绍这一开源项目,帮助您更好地理解和使用它。 项目介绍 Knowledge Distillation Toolkit 是一个...

gitblog_01069的博客 557
上一篇: PCI总线背后的秘密:为什么你的外设需要地址映射?
下一篇: 42步进电机控制进阶:STM32 HAL库实现梯形加减速(TB6600驱动器)
普通网友
博客等级 码龄27年 205粉丝 1502原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值