LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics

一、论文主要内容与创新点总结

主要内容

• 针对现有联合嵌入预测架构（JEPAs）依赖启发式方法、易出现表征坍缩、理论基础薄弱的问题，提出了LeJEPA——一种基于理论的轻量化、可扩展自监督学习框架。
• 核心逻辑：通过理论证明确定最优嵌入分布（各向同性高斯分布），设计SIGReg正则化约束嵌入满足该分布，结合JEPAs的预测损失，实现无启发式、稳定的自监督预训练。
• 实验验证：覆盖10+数据集、60+架构（ResNets、ViTs等），在ImageNet-1k预训练中ViT-H/14线性评估准确率达79%，领域内预训练性能优于DINOv2/v3等迁移学习模型。

核心创新点

1. 理论突破：证明各向同性高斯分布是线性和非线性下游任务中，能最小化预测风险的唯一最优嵌入分布，为JEPAs设计提供理论依据。
2. 高效正则化：提出Sketched Isotropic Gaussian Regularization（SIGReg），通过随机投影和特征函数匹配约束嵌入分布，具有线性时间/内存复杂度、梯度有界等优势，突破高维诅咒。
3. 架构简化：LeJEPA仅需一个权衡超参数，去除教师-学生网络、停止梯度等启发式组件，兼容任意架构，分布式训练仅需约50行代码。
4. 范式验证：证实领域内自监督预训练可超越大规模通用迁移学习，即使在小数据集上也