噪声环境下的学习流程
本文探讨了噪声在学习过程中的影响，介绍了噪声的几种情况，包括时间变色的弹珠模型，以及在噪声存在下目标分布P(y|x)的概念。文章还讨论了pocket算法的可行性，以及如何在常见点上接近理想的小目标。
文章目录
Recap: The Learning Flow
如果资料有noise会发生什么？
Noise
在介绍pocket算法之前简单的介绍了noise。
noise有以下几种情况：
Probabilistic Marbles
有noise时可以认为是有“会随时间变色”的弹珠，只要记录在取样时的颜色即可。整体的性质是不会变的，橘色的概率仍然是可以被预测的。
i.i.d.：independent and identically distributed 独立同分布。
P
(
y
∣
x
)
P(y|\mathbf{x})
P(y∣x)：代表在已经确定是
x
\mathbf{x}
x弹珠的情况下的两种颜色的概率。
VC Bound在有noise的情况下仍然有效。
Target Distribution： P ( y ∣ x ) P(y|\mathbf{x}) P(y∣x)
例子：一个点有70%的概率是圈，那么就认为它是圈（ideal mini-target），其30%是叉的概率被视为杂讯。
deterministic target可以被看作target distribution的一种特殊情况。
学习的目标：在常见的点上要做的好（接近mini-target）。
The New Learning Flow
以上说明了pocket的可行性。
Fun Time
扫一扫
1001
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
