本文介绍了局部加权回归的概念，强调其在小数据集和非线性拟合中的应用，通过调整τ参数控制拟合平滑度。接着讨论了为什么选择最小二乘法，基于误差的独立同分布假设和中心极限定理。随后转向逻辑回归，解释了其在分类问题中的重要性，特别是在0-1分类中，通过sigmoid函数将连续预测值转换为概率，避免了线性回归的局限性。最后，阐述了逻辑回归的优化过程，展示了其与线性回归的相似性，并指出sigmoid函数避免了局部最大值的问题。
locally weighted regression:
terminologys:
parametric learning:有具体的参数θ，和数据多少无关(比如线性回归)。
non-paramatric learning:没有具体的参数，需要的内存会线性增长。
如果是一个曲线，如何进行拟合？线性回归可能误差很大，当然可以采用feature selection选择二次或者三次函数指数函数这样的进行拟合，但是曲线变的很扭曲，怎么选择feature？
采用局部加权回归，终点放在预测点的旁边，给予较大的权重，其他的地方权重降低。
类似下面这张图，他权重的分配有一点像正态分布，很远的地方权重几乎是零。 其中的tau决定权重曲线的宽度。它的选择很有技巧，可以看到tao越大拟合越平滑。有很多论文。局部回归通常是作用于小数据集，并且难以判断曲线类型。
最低0.47元/天 解锁文章
扫一扫
1460
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
