UofT 机器学习笔记-套袋法（bagging）

最新推荐文章于 2024-09-16 12:25:43 发布

MingrenChen

最新推荐文章于 2024-09-16 12:25:43 发布

阅读量851

点赞数

CC 4.0 BY-SA版权

分类专栏： machine learning 机器学习文章标签：机器学习 machaine learning

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/m0_37665900/article/details/83120467

本文介绍了机器学习中的套袋法（Bagging），探讨了因训练集不同导致模型差异的问题。通过分析模型预测的期望与方差，揭示了欠拟合（bias大，variance小）和过拟合（bias小，variance大）的特征，帮助理解如何减少预测误差。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在机器学习中，即使使用同样的算法，如果training set不一样，会生成不一样的模型。

假设我们有一个隐藏的data generating distribution P_data 生成不同颜色的点。

在红线越密集的地方，红点越多，蓝线约密集的地方蓝点越多，那么这个distribution可以生成无数的training set。

此时，我们随意定义一个点x，我们希望用机器学习的训练出一个model，判断这个点的颜色。

但是根据我们之前学到的，training set不一样，会生成不一样的模型。这三个模型会预测出不同的结果。

y是我们预测出的结果，很明显我们可以把y当成一个random variable，那么我们就可以讨论y的expectation和variance。

t是我们观察出的结果，也就是x这个点的真实颜色。从逻辑上来说，y与t是独立的，因为 $y=w^Tx+b$ , y只和w，x，b有关。x是一个属性矩阵，w是一个weig

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。