这篇博客详述了机器学习作业中逻辑回归的实践，包括数据集来源、模型解析、sigmoid函数的作用，以及使用梯度下降法（GD、SGD）和牛顿法进行优化的过程。在实现过程中，作者强调了数据归一化的必要性，并对比了不同优化方法的收敛速度。此外，还展示了TensorFlow实现的逻辑回归模型及其效果。
ML课堂的第二个作业，逻辑回归要求如下：
数据集链接如下：
逻辑回归的关键是运用了sigmod函数，sigmod函数有一个很好的性质是其导函数很好求
函数图像：
sigmod会将函数值映射到（0，1）区间内，将其输出值看作是概率则有逻辑回归的二分类模型：
上式很好理解，sigmod(x)是x属于pos类的概率则x属于neg类的概率自然就是1-sigmod(x)，两式子组合一下可得到下式：
上式其实就是一个概率密度函数，对θ做最大似然估计，使最大似然函数求到最大值。
用梯度下降法，梯度和更新公式如下：
题目要求用GD、SGD还有牛顿法目前实现了GD和SGD的，牛顿法会在后面更新，需要提到的是数据需要进行归一化，不然由于计算机内浮点数精度原因sigmod函数会取到1，log(sigmod）会出log(0）错，后面用tensorflow实现的版本用adam优化在不进行归一化的情况下可以收敛。
首先是梯度下降的代码
nolinear.py里面封装了一下sigmod函数
import math
def sigmods(x):
return 1/(math.exp(-x)+1)
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
