An Information-Theoretic View for Deep Learning（从信息论的视角看深度学习）

An Information-Theoretic View for Deep Learning

作者：Jingwei Zhang, Tongliang Liu, Dacheng Tao
The University of Sydney, NSW, Australia
发布时间：3 May 2018

1. Abstract and Introduction

Deep Learning 的两个关键问题：

• 为什么越深泛化能力越好？
• 是不是总是越深，网络表现越好

文章的核心结论公式：

$$E[R(W)-R_S(W)]\leq exp(-\frac{L}{2}log(\frac{1}{\eta}))\sqrt{\frac{2\sigma^2}{n}I(S,W)}$$

符号含义：

• $E[R(W)]$是the expected risk: $E[R(W)]=E_{Z~D}[l(W,Z)]$
• $Z$为数据，$D$为数据分布，$W$为训练好的网络(a hypothesis)
• $E[R_S(W)]$是the empirical risk: E[<