逻辑回归特征映射及正则化

wu小胖

于 2020-05-26 22:16:58 发布

阅读量2.8k

点赞数 2

文章标签： python 算法机器学习

本文链接：https://blog.youkuaiyun.com/m0_46297891/article/details/106322617

版权

本文探讨了在逻辑回归中如何通过特征映射处理复杂分类问题，介绍了正则化来防止过拟合，特别是展示了在训练芯片接受/抛弃决策模型时，如何选择合适的正则化参数λ，以及不同λ值对模型性能的影响。通过实例代码展示了特征映射和正则化的应用，强调了在实际操作中调整正则化参数以平衡模型复杂度和预测准确性的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、特征映射：当逻辑回归问题较复杂，原始特征不足以支持构建模型时，可以通过组合原始特征成为多项式，创建更多特征，使得决策边界呈现高阶函数的形状，从而适应复杂的分类问题。
二、机器学习训练得到的模型可能存在一种现象是过拟合，在训练集上模型表现很好，但是在测试集上效果很差，即模型的泛化能力不行。此时解决方法有：
1、丢弃一些不能帮助正确预测的特征。可以手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）。
2、正则化：保留所有的特征，但是减小参数θj的值。
正则化的思想是减少高次项θ的值，使曲线平滑。在逻辑回归算法中代价函数正则化如下： $J\left ( \theta \right )=-\tfrac{1}{m}\sum_ {i=1}^{m}[y^{(i)}log\left ( h_{\theta }\left ( x ^{(i)}\right ) \right )+\left ( 1-y^{(i)} \right )log\left ( 1-h_{\theta }\left ( x^{(i)} \right )\right )]+\tfrac{\lambda }{2m}\sum_{j=1}^{n}\theta _{j}^{2}$

最低0.47元/天解锁文章