全连接贝叶斯神经网络权重后验集中性研究

摘要

贝叶斯方法在训练深度神经网络（BNN）中受到广泛关注，并已成功应用于多个领域。现有研究主要集中于具有稀疏或重尾先验的BNN模型，而对实践中最常用的高斯先验缺乏理论支持。这一理论空白源于非稀疏且参数有界的深度神经网络（DNN）近似结果的缺失。本文提出了针对此类DNN的新近似理论，并基于该理论证明：采用非稀疏通用先验的BNN能够围绕真实模型实现近极小极大最优的后验集中速率。

核心贡献

1. 非稀疏DNN的近似理论：突破了传统稀疏性限制，为参数有界的全连接DNN提供了通用逼近框架。
2. 后验集中性证明：首次推导出高斯先验等通用先验下BNN的后验集中速率，填补了理论空白。
3. 极小最优性：所获速率接近统计学习中的极小极大下界，为BNN的统计效率提供了理论保障。

方法亮点

• 通过分层先验结构统一处理各类权重分布假设
• 采用覆盖数技术和熵分析工具量化后验分布收敛性
• 在逼近误差与复杂度惩罚间建立平衡，确保最优速率

更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码