【机器学习】浅谈逻辑回归_softmax与ovr的区别-优快云博客

本文链接：https://blog.youkuaiyun.com/ueke1/article/details/137190556

本文详细介绍了Logistic回归、Softmax回归以及它们在多类别分类中的应用，包括OVR和OVO策略，以及Sigmoid函数的作用。同时涵盖了先验概率和后验概率的概念，以及模型的训练和优化过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

概述

Logistic回归和Softmax回归都是在采用逻辑回归的思想来解决分类问题。

逻辑回归是一种二分类模型，用于解决二分类问题。它通过将输入特征与权重相乘并加上偏置项，然后将结果通过一个Sigmoid函数（也称为Logistic函数）映射到0到1之间的概率值，用于预测样本属于某一类别的概率。

Softmax函数是一种常用的多类别分类激活函数。它可以将一组实数转化为概率分布，使得每个类别的概率值都在0到1之间且总和为1。Softmax函数的计算公式是对输入向量中的每个元素进行指数运算，然后将结果进行归一化。

Logistic Softmax是一种常用的分类模型，常用于多类别分类任务。它是基于Logistic Regression（逻辑回归）和Softmax函数的组合。
Logistic Softmax模型将逻辑回归和Softmax函数结合在一起，用于解决多类别分类问题。它通过将每个类别与一个权重向量相乘，并加上偏置项，然后将结果通过Softmax函数进行归一化，得到每个类别的概率值。最终，模型会预测样本属于概率最高的类别。

Logistic Softmax模型可以通过梯度下降等优化算法进行训练，调整权重和偏置项，使得模型能够更好地拟合训练数据，并在测试数据上进行准确的多类别分类预测。

几率(odd)

假设一个时间发生的概率为P，则
$odd=P1−Podd=\frac{P}{1-P}$
二分类问题：一个问题发生和不发生就是一个最简单的二分类问题

logistic回归

逻辑回归是一种二分类模型，用于解决二分类问题。它通过将输入特征与权重相乘并加上偏置项，然后将结果通过一个Sigmoid函数（也称为Logistic函数）映射到0到1之间的概率值，用于预测样本属于某一类别的概率。

逻辑回归也可以处理多分类问题，先采用OVR思想将多分类问题转为多个二分类问题，再采用逻辑回归思想进行处理。

Logistic/sigmoid函数

目的是求解参数 θ

$y^={ 1,p>threshold0,p≤threshold\begin{gathered} p=h_{θ}(x)=g(θ^Tx)=\frac{1}{1+e^{-θ^Tx}} \quad \\y=\left\{\begin{array}{l}1\\ 0\end{array} \,\quad\quad \hat{y}=\{\begin{array}{l}1,p>threshold\\ 0,p≤threshold\end{array} \right.\\ \end{gathered}$