DML

在这里插入图片描述

### DML的概念及其应用场景 #### 深度相互学习(DML) 深度相互学习(Deep Mutual Learning, DML)是一种创新的学习方法,在该框架下,多个学生网络能够互相教授知识而无需依赖于预训练好的大型教师网络[Zhang 2017][^3]。具体来说: - **双向知识传递**:在DML中,两个或更多个学生模型通过交换预测结果来共同进步。这种机制允许较小规模的学生模型之间实现有效的知识迁移。 - **损失函数设计**:为了促进有效互学,DML采用复合型损失函数结构,不仅考虑到了单个学生模型输出相对于真实标签的误差,还引入了Kullback-Leibler散度(KL-Div)作为衡量不同学生间软标签差异性的指标。 ```python import torch.nn.functional as F def dml_loss(output_student_1, output_student_2, target): ce_loss_1 = F.cross_entropy(output_student_1, target) ce_loss_2 = F.cross_entropy(output_student_2, target) kl_div_loss = F.kl_div( F.log_softmax(output_student_1 / T, dim=1), F.softmax(output_student_2 / T, dim=1), reduction='batchmean' ) total_loss = (ce_loss_1 + ce_loss_2)/2 + alpha * kl_div_loss return total_loss ``` 这里`T`代表温度参数用于控制softmax分布平滑程度;`alpha`则是调整KL散度项比重的比例系数。 #### 数据操作语言中的DML 另一方面,“DML”也可以指代Data Manipulation Language的一部分功能——即数据库管理系统(DBMS)用来执行插入、更新以及删除记录的操作命令集。这类SQL语句主要用于修改存储在关系型数据库内的表数据[^1]。 - **INSERT INTO**: 向指定表格添加新行。 - **UPDATE SET**: 修改现有记录的内容。 - **DELETE FROM**: 移除符合条件的数据条目。 尽管这两个领域都使用"DML"缩写,但它们分别属于机器学习算法和技术与数据库管理系统的不同范畴。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值