本文探讨了在机器学习中噪声和误差的影响，指出在现实样本中可能存在各种类型的噪声。机器学习的目标从寻找单一函数转变为学习概率分布，并介绍了错误度量方法，如0/1错误和平方误差。此外，文章强调了不同错误类型的权重在算法设计中的重要性，并提出了加权分类的概念，以适应不同应用场景对错误容忍度的需求。通过调整样本权重，可以将加权错误转化为传统错误度量问题，确保算法的适用性。
机器学习基石 Lecture8: Noise and Error
Noise and Error
前面讲的机器学习的学习流程如下图所示：
但是这个流程里假设的都是有一个真实的函数 f f f来生成样本，但是现实中很有可能样本里带有一些噪音，也就是无法单纯用一个函数 f f f来刻画 y y y与 x x x的关系。比如在信用卡问题里有以下几种噪音：
- y的噪音：对表现良好的用户标记为-1（不发信用卡）
- y的噪音：同样的用户不同的标签
- x的噪音：不准确的用户信息
在有噪音的情况下，VC bound的不等式是否依然成立呢？我们可以从头开始推导，但是要包含有噪音的情况。建模成每个样本 x x x服从一个概率分布 P ( x ) P(x) P(x)，而对于一个给定的 x x x，对应的 y y y也服从一个条件分布 P ( y ∣ x ) P(y|x) P(y∣x)。这样就包含了噪音的存在。最终的结果是VC bound的结果依然类似的成立：
这时候我们机器学习的目标就从学习一个目标函数 f f f变成了学习一个概率分布 P ( y ∣ x ) P(y|x) P(y∣x)。而对一个给定 x x x有确定性结果 y y y
最低0.47元/天 解锁文章
扫一扫
333
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
