机器学习（七）- logistic regression

最新推荐文章于 2023-03-27 21:41:32 发布

原创最新推荐文章于 2023-03-27 21:41:32 发布 · 467 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#逻辑回归

stanford机器学习学习笔记专栏收录该内容

23 篇文章

订阅专栏

本文详细介绍了逻辑回归的基本原理及其实现过程。首先通过拟合训练数据得到参数θ hetaθ，利用sigmoid函数进行预测，并给出了参数更新及代价函数的具体公式。最后提供了MATLAB代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

logistic regression

对于逻辑回归，就是运用已知的数据集（training set）去拟合一组 $θ\theta$ ，等同于在空间中拟合出一条曲线，不过这条曲线不同于线性回归，这条曲线是用于空间划分，对于二分类，就是用曲线将平面划分成两个区域，那么对于这两个不同的区域 $θTx\theta^Tx$ 对应于大于等于0和小于0，随后再代入 $g (z)$ 即sigmoid函数的时候，就对应于大于等于0.5和小于0.5，这个时候联系概率就将对应区域等同于 $y = 1$ 和 $y = 0$ ，当然和线性回归一样，是建立在我们已经完成特征选取和模型假设之后，我们所用模型为：
$hθ(x)=g(θTx)=11+e−θTxh_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^T x}}$
具体步骤其实就是迭代下面两个方程：
第一个是参数更新方程
$θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))xj(i)\theta_j := \theta_j-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$
第二个是代价函数
$J(θ)=−1m(∑i=1my(i)log⁡hθ(x(i))+(1−y(i))log⁡(1−hθ(x(i))))J(\theta) = -\frac{1}{m}(\sum_{i=1}^my^{(i)}\log h_\theta(x^{(i)})+(1-y^{(i)})\log (1-h_\theta(x^{(i)})))$
化成矩阵形式就是：
$θ:=θ−α1mXT(g(Xθ)−y)J(θ)=−1m(yTlog⁡g(Xθ)+(1−yT)log⁡(1−g(Xθ)))\begin{aligned} \theta :&= \theta-\alpha\frac{1}{m}X^T(g(X\theta)-y)\\ J(\theta) & = -\frac{1}{m}(y^T\log g(X\theta)+(1-y^T)\log (1-g(X\theta))) \end{aligned}$

matlab 代码实现：

J = - 1/m * (y' * log(sigmoid(X * theta)) + ...
    (1-y') * log(1 - sigmoid(X * theta)));
grad = theta - alpha * 1/m * (X' * (sigmoid(X * theta) - y));