Mean Teacher的调研与学习

原创最新推荐文章于 2026-09-28 14:34:49 发布 3.5k 阅读 AI写同款

Alexa2077

839粉丝106篇原创

关注

半监督3D医学图像分割（一）：Mean Teacher 个人认为，Mean Teacher网络的训练是一个求同存异的过程，输入的图像略有差异，网络参数略有差异，我们假设网络训练好后完全收敛，此时学生网络和教师网络的参数应该是非常接近的，也具备良好的去噪能力，那么一致性损失就会很小；自监督学习先使用大量无标签的数据集，通过对比学习和图像重建等方式构建损失函数，进行预训练，然后在特定任务上使用有标签的数据集进行微调。损失由两部分组成，有标签的数据做分割损失，无标签的图像做一致性损失（有标签的也可以做一致性损失）。论文里的方法，结合图像分割画的网络图。阅读详情

AI摘要

MeanTeacher是一种半监督学习方法，通过教师模型和学生模型的协同训练，通过参数扰动和一致性优化提升模型泛化能力。它改进了Π-Model和TemporalEnsembling，使用平均模型权重而非预测值，尤其适合大型数据集和在线学习。

0 FQA:

Q1，什么是Mean Teacher？ MT的训练方式是怎样的？
A1: Mean Teacher是一种基于一致性正则化的半监督学习框架，从Π-model与时序集成演化而来。该模型由一个教师模型和一个学生模型组成，两者使用相同的网络结构。在训练过程中，该方法对学生和教师模型添加不同的扰动，并通过最小化二者的输出差异训练模型，使模型在不同扰动下的输出结果仍具有一致性，从而有效提升模型的泛化能力。

Q2:为什么叫平均教师?
A2：因为在MT模型的训练过程中，Mean Teacher 首先对学生模型进行训练，并利用梯度下降法更新其模型参数，其次计算学生模型参数的指数移动平均值，并将计算结果更新为教师模型的参数。由于教师模型是连续若干训练step产生的学生模型的平均值，我们称之为平均教师方法。

Q3: MT与时序集成的不同点在哪？
A3: 与 Temporal Ensembling 方法的不同之处在于，Mean Teacher 并未对模型的输出结果进行操作，而是关注于对模型参数的处理。

Q4：后续的引用MT的文章中，都有那些创新思路？比如说对着Mean Teacher结构上是如何创新点等等？
A4：感觉mean teacher 的变化形式特别的多，我先对着mean teacher为主题进行调研，再来回答这个问题。