机器学习实战——第五章:Logistic回归

本文详细介绍了梯度下降法的基本原理及其优缺点,并探讨了在实际应用中需要注意的问题,包括不同数据类型的处理方式及参数调整技巧。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本系列目的在于总结每一个分类器的特点(优点、缺点、使用数据类型、使用时的注意事项等)。相关代码自己搜。


python:建议使用2.7

python常用函数库:NumPy、scikit-learn等

python集成环境:anaconda



优点:

1、简单、易于理解


缺点:

1、容易欠拟合,效果不很好

2、要求error函数在当前点是有定义、并且可微


使用数据类型:

1、连续型(不用做离散化处理;但要做归一化)

2、离散型


使用时注意事项:

0、梯度只是方向,步长还要alpha控制,alpha控制不好,很容易造成不收敛

1、注意,我们关心的其实是error的梯度,希望让error尽快变小,所以使用梯度下降,而且方向为error的梯度(回想回归系数w的更新公式)。

2、梯度下降的改进:

基本的随机梯度下降:

来一个样本更新一次梯度

也是一种在线学习算法

改进的随机梯度下降:

alpha随迭代次数逐渐减小,但不要为零:alpha=4/(1.0 + i + j) + 0.01

随机的选择训练样本

使用随机梯度下降,一般需要多跑几遍程序,或使用交叉验证;因为样本选择是随机的,要避免偶然情况。

3、如何处理数据中的缺失值:

类别缺失,只能忽略该样本(此处只考虑有监督学习)

某些特征值缺失:

忽略该样本

用该特征的均值代替

用特殊值代替,如-1、0等

在LR中,特征缺失,我们采用0来替代,这样做有两个直觉:

不会影响系数的更新:we i g h t s = we i g h t s + alpha  *  e r r o r * d a t a M a t r i x [randIndex] = we i g h t s

不影响分类的结果:由于sigmoid(0) = 0.5,即它对结果的预测不具有任何倾向性

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值