通俗理解逻辑回归

前言

     关于机器学习相关的算法,不想追求高大上,只想用通俗易懂的方式去推导。一是因为能力有限;二是因为只注重公式推导和严谨性对于初学者来说不好理解。欢迎大佬们多多指教。

    

☆☆☆ 算法目录导航页,包含基础算法、高级算法、机器学习算法等☆☆☆

    

1. ML/DL到底要干什么

    其实整个机器学习或深度学习要干的事只有2件:
    ① Data → Model,已知数据,如何建模;
    ② Model → 求参数,已知model,如何求参数w。

2. 逻辑回归概念

    逻辑回归(logistic regression)是机器学习模型中的基础模型。虽然叫回归,实际却是解决分类问题。究其原因,是历史遗留问题,大家不要纠结这个,只要记住是解决分类问题就可以了。(葫芦书有详细说明,有兴趣可以看看)

3. 如何建模

    逻辑回归是一个广义的线性模型,我的理解它的初衷是想用线性函数去解决分类问题。比如,用 y = wx 解决分类,但是y的值是连续的,不是0,1。那么我们希望找到一个阶跃函数能把y的值映射成0,1,所以阶跃函数h如下: h ( y ) = { 0 , y < 0 0.5 , y = 0 1 , y > 0 h(y)=\left\{\begin{array}{cl}{0,} & {y<0} \\ {0.5,} & {y=0} \\ {1,} & {y>0}\end{array}\right. h(y)= 0,0.5,1,y<0y=0y>0
 但是,上式不连续,我们希望找到一个单调可微函数,以便我们后面求解参数。所以, 我们找到了一个Sigmoid函数: h ( y ) = 1 1 + e − y h(y)=\frac{1}{1+e^{-y}} h(y)=1+ey1
 它的函数图像是这样的:

在这里插入图片描述

 因此,用sigmoid函数代替了之前的阶跃函数。
 sigmoid函数表示的是给定x, y趋近于0和1时的概率值,则我们可以表示为后验概率:
p 1 = P ( y = 1 ∣ x ; w ) = h ( x ) p_{1} = P(y=1|x;w) =h(x) p1=P(y=1∣x;w)=h(x)
p 0 = P ( y = 0 ∣ x ; w ) = 1 − h ( x ) p_{0} = P(y=0|x;w) =1-h(x) p0=P(y=0∣x;w)=1h(x)
 则目标函数可表示为: P ( y ∣ x ; w ) = p 1 y ⋅ p 0 1 − y P(y | x ; w) = p_{1}^{y} \cdot p_{0}^{1-y} P(yx;w)=p1yp01y

4. 如何求参数

    ① 找一个损失函数;
    ② 利用梯度下降算法优化损失并求出参数。
    利用最大似然估计MLE化简目标函数。为什么用MLE呢?
     1.最大似然也就是最大概率,概率越大即分类更精确,求出概率最大时w的值即可。
     2.得到的损失函数是凸函数,利于求解。
     所以,使用MLE是合理的。
    MLE 化简: L ( w ) = max ⁡ P ( y ∣ x ; w ) = max ⁡ ∏ i = 1 n p ( y ( i ) ∣ x ( i ) ; w ) = max ⁡ ∏ i = 1 n p 1 y ( i )   p 0 1 − y ( i ) = max ⁡ ∏ i = 1 n ( h ( x ( i ) ) ) y ( i ) ( 1 − h ( x ( i ) ) ) 1 − y ( i ) \begin{aligned} L(w) &=\max P(y | x ; w) \\ &=\max \prod_{i=1}^{n} p\left(y^{(i)} | x^{(i)} ; w\right) \\ &=\max \prod_{i=1}^{n}p_{1}^{y^{(i)}}\ p_{0}^{1-y^{(i)}} \\ &=\max \prod_{i=1}^{n}\left(h\left(x^{(i)}\right)\right)^{y^{(i)}}\left(1-h\left(x^{(i)}\right)\right)^{1-y^{(i)}} \end{aligned} L(w)=maxP(yx;w)=maxi=1np(y(i)x(i);w)=maxi=1np1y(i) p01y(i)=maxi=1n(h(x(i)))y(i)(1h(x(i)))1y(i)
    为了简化运算,L(w)取对数:

  l ( w ) = l n L ( w ) = m a x   ∑ i = 1 n [ y ( i ) ln ⁡ h ( x ( i ) ) + ( 1 − y ( i ) ) l n ( 1 − h ( x ( i ) ) ) ] \ l(w)=ln L(w)=max\ \sum_{i=1}^{n}\left[ y^{(i)} \ln h\left(x^{(i)}\right)+\left(1-y^{(i)}\right)ln\left(1-h\left(x^{(i)}\right)\right)\right]  l(w)=lnL(w)=max i=1n[y(i)lnh(x(i))+(1y(i))ln(1h(x(i)))]

    求l(w)最大,也就是求-l(w)最小,那我们就可以定义损失函数为 -l(w),则损失函数为:   J ( w ) = − 1 n ∑ i = 1 n [ y ( i ) ln ⁡ h ( x ( i ) ) + ( 1 − y ( i ) ) l n ( 1 − h ( x ( i ) ) ) ] \ J(w)= -\frac{1}{n}\sum_{i=1}^{n} \left[y^{(i)} \ln h\left(x^{(i)}\right)+\left(1-y^{(i)}\right)ln\left(1-h\left(x^{(i)}\right)\right)\right]  J(w)=n1i=1n[y(i)lnh(x(i))+(1y(i))ln(1h(x(i)))]
    它的函数图像是这样的:

在这里插入图片描述

    它是一个单调凸函数,所以我们用梯度下降算法求参数w。梯度下降算法公式:

w j : = w j − α ∂ J ( w j ) ∂ w j w_{j} :=w_{j}-\alpha \frac{\partial J(w_{j})}{\partial w_{j}} wj:=wjαwjJ(wj)

     α 为学习率。我们按照公式不断更新w的时候,损失函数的值会逐渐下降,当其慢慢下降到最小值附近开始收敛以后,我们就得到了训练好的【逻辑回归预测模型】。

5.总结

  ① 我们从线性函数的角度入手;
  ② 为了能让线性函数表示成分类,得到了阶跃函数;
  ③ 为了能使用梯度下降优化算法求解w,我们找到了单调可微的sigmoid函数代替阶跃函数。
  ④ 为了求解方便,我们用最大似然估计简化了目标函数,得到对数似然函数,顺便定义了损失函数;
  ⑤ 最后使用gradient descent 不断更新w得到损失函数最小时模型的样子:逻辑回归预测模型(trained)。
### 逻辑回归 逻辑回归是一种用于二分类问题的统计方法,它通过将线性回归的结果映射到一个概率值来预测某个事件发生的可能性。其核心思想是使用“极大似然估计”来估计模型参数[^2]。简单来说,逻辑回归不是直接预测数值结果,而是计算输入特征与输出类别之间的关系,并给出属于某一类别的概率。 例如,在垃圾邮件分类任务中,逻辑回归可以基于邮件中的关键词、发件人信息等特征,计算出该邮件是垃圾邮件的概率。如果这个概率超过了一个设定的阈值(如0.5),则判定为垃圾邮件;否则判定为正常邮件。 逻辑回归的优点在于它的输出具有概率解释,便于理解和应用。此外,它对数据的要求相对较低,能够处理线性可分的问题[^4]。但需要注意的是,逻辑回归假设特征之间是独立的,这在实际应用中可能并不总是成立。 ```python from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.datasets import fetch_openml # 加载数据集 data = fetch_openml('mnist_784', version=1) X, y = data["data"], data["target"] # 简化问题:仅区分数字 0 和 1 mask = (y == '0') | (y == '1') X, y = X[mask], y[mask] # 分割训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42) # 创建并训练逻辑回归模型 model = LogisticRegression() model.fit(X_train, y_train) # 输出准确率 print("Accuracy:", model.score(X_test, y_test)) ``` ### 贝叶斯方法 贝叶斯方法是一类基于贝叶斯定理的概率推理技术,其中最常见的是朴素贝叶斯算法。它假设所有特征都是相互独立的,并根据训练数据计算每个类别的概率分布。然后,在进行预测时,利用这些概率分布结合贝叶斯定理来计算给定特征下各个类别的后验概率,选择具有最高后验概率的类别作为预测结果[^3]。 以文本分类为例,比如判断一封邮件是否为垃圾邮件,朴素贝叶斯会先统计每种词汇出现在垃圾邮件和非垃圾邮件中的频率,进而估计出当出现特定词汇组合时邮件属于垃圾邮件或非垃圾邮件的概率。这种方法特别适用于高维数据,尤其是文本数据,因为它能高效地处理大量特征。 ```python from sklearn.naive_bayes import MultinomialNB from sklearn.feature_extraction.text import CountVectorizer # 示例文本数据 emails = ["Win money now", "Meeting rescheduled to 3 PM", "Claim your prize", "Project update attached"] labels = [1, 0, 1, 0] # 1 表示垃圾邮件, 0 表示正常邮件 # 特征提取 vectorizer = CountVectorizer() X = vectorizer.fit_transform(emails) # 创建并训练朴素贝叶斯模型 model = MultinomialNB() model.fit(X, labels) # 预测新邮件 new_email = ["Congratulations you've won a free ticket"] X_new = vectorizer.transform(new_email) prediction = model.predict(X_new) print("Prediction for new email:", "Spam" if prediction[0] == 1 else "Not Spam") ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值