关于复现EMA

❗ 只要方法中含有 EMA / Momentum Update / Moving Average，就无法做到 严格的 bit-level 完全复现

但 可以做到“功能性复现”（曲线趋势一致、指标差不多）。

我们需要区分“复现”的两个层级：

---

✅ 一、学术界认可的复现：Functional Reproducibility

✔ 指标差不多

✔ 曲线趋势一致

✔ 模型行为相似

✔ 多次训练结果波动在正常范围

这样的复现对于带 EMA 的论文完全能做到。

例如：

• MoCo v1/v2/v3

• BYOL

• SimCLR (动量 encoder 的版本)

• MaskFeat

• MAE momentum teacher

• KD 的 EMA teacher

• EMA-based optimizer（AdamW + EMA）

• Deformable-DETR 的 EMA 更新

• YOLO 的 ModelEMA

• Diffusion Model 的 EMA Model

这类论文都可以被复现（functional reproduction）。

---

❌ 二、完全逐位复现（bitwise reproducibility）

这意味着：

• 每次训练 loss 一模一样

• 每个 epoch 的权重完全一样

• EMA 的状态每一步都一样

• 训练 N 次得到完全相同的 .pth 文件

❌ 对于带 EMA 的训练：几乎不可能

无论论文还是你的代码。

原因如下（所有 EMA 方法通用情况）：

---

🔥 为什么带 EMA 就无法做到 bit-level 完全复现？

原因不是 EMA 本身，而是：

1. EMA 对累积误差极度敏感（放大器）

EMA 更新：

ema = m * ema + (1-m) * value

其中 m 接近 1（0.99～0.9999）

这意味着：

• 第一步小误差 → 第二步被乘以 0.99 → 差异开始积累

• 到1000步后，差异被指数放大

• 10000步后差异巨大

哪怕 1e-10 浮点误差，最终也会变 1e-3、1e-2。

---

2. batch 顺序只要有一点不同，EMA 会完全偏离

导致 batch 顺序不可重复的常见因素：

因素	说明
DataLoader 多线程（num_workers>0）	100% 损坏复现
shuffle=True	多线程情况下无论种子固定仍不确定
随机增强（crop、flip）	worker 间执行顺序不同
GPU 并行机制	kernel 执行顺序不保证 bit-level deterministic
CuDNN 非完全确定性算子	某些算子仍有不可控噪声
AMP 混合精度	万分之一的误差在 EMA 中会被放大到明显差异

因此 EMA 不是不可复现的根源，而是误差放大器。

---

3. GPU 上的浮点加法不满足结合律

(a+b)+c ≠ a+(b+c)

多线程 → 累积顺序不同 → 浮点误差不同 → EMA 累积不同 → 最终模型完全不同。

这不是你能控制的，是 IEEE754 浮点数本质决定的。

---

🔍 那为什么很多论文使用 EMA，但依然可以复现？

因为他们要求的是：

“结果指标可复现（functional reproducibility）”

而不是：

“每个 epoch loss 完全一样（bitwise reproducibility）”

两者差别非常大。

在实际科研里，前者是完全可以做到的。

---

🧪 实际例子（你肯定知道）：

论文	是否使用 EMA	是否可复现	是否 bit-level 可复现
MoCo	✔	✔	❌
BYOL	✔	✔	❌
SimCLR-v2	✔	✔	❌
DINO / iBOT	✔	✔	❌
MAE	✔	✔	❌
YOLOv5/7/8 EMA	✔	✔	❌
Stable Diffusion（UNet）	✔	✔	❌
DDPM/DDIM	✔	✔	❌

所有主流论文都能复现指标，但没有任何一个号称 bitwise reproducible。

---

🟩 最终答案

✔ 任何带 EMA 的论文都“可以复现结果”

❌ 但只要使用 EMA，就“不可能达到完全逐位复现”

无论你设置多少 random seed，都完全做不到 bit-level 相同。

这不是你代码的问题，是浮点数与并行执行的物理事实造成的。

---

如果你需要：

✔“结果可复现”

我能帮你做：

• 固定随机数

• DataLoader 单线程

• 关闭所有随机增强

• 强制 deterministic 模式

• 固定模型初始化

• 固定 batch 顺序

• 得到指标一致的版本

❌“bit-level 完全复现”

只要你用了 EMA → 不可能。

---

为什么 EMA 不能复现？

EMA 是：

ema = m * ema + (1 - m) * new_value

是一个 “记忆型积累函数”。

只要：

• batch 顺序稍微变一点

• 每个 batch 的浮点误差不同

• transforms 的随机性没有逐 bit 一致

• 多线程 worker 调度顺序不同

EMA 就会累计误差：

“一点点误差 ➜ 累积 1 万步后 ➜ 完全不一样”

EMA 是误差放大器
CE/KL 不是。

这就是你能复现 CE/KL 却复现不了 EMA 的根本原因。

---

🔍 更详细解释：CE/KL 为什么能复现？

原因是 CE/KL loss 的计算 没有历史依赖：

• 第 2 epoch 的 loss 不依赖第 1 epoch 的 loss

• 第 10 epoch 的结果不受前面误差放大影响

模型权重会有些微差异，但“逐 epoch 均值指标”可能非常接近。

---

🔥 但是 EMA 是依赖历史误差的指数累积系统

哪怕只有：

• 1e-7 的浮点差异

• 一个 batch 顺序的微妙不同

• 一个 worker先返回还是后返回

在 EMA 更新 1000 次后：

➡ 误差会被放大到模型行为差异
➡ epoch 2 开始就完全不一样

这就是 EMA 方法不能在多线程 + shuffle 情况下复现的原因。