机器学习: 逻辑回归

概念与定义

逻辑回归是一种用于分类问题的统计方法。它通过计算目标变量的概率来预测类别归属，并假设数据服从伯努利分布（二分类）或多项式分布（多分类）。逻辑回归模型输出的是概率值，通常使用sigmoid函数将线性组合映射到0和1之间。

1. 概念

逻辑回归用于解决分类问题，特别是二分类问题。它通过估计输入变量与目标变量之间的关系来预测目标变量的类别。

2. 定义

逻辑回归是一种广义线性模型，其核心思想是将线性组合通过sigmoid函数转换为概率值，从而确定样本属于某一类的概率有多大。

基本形式为：
$$P(y=1|x)=\frac{1}{1+e^{-(w^{T}x+b)}}$$
其中：

• $w$ 是权重向量
• $x$ 是输入特征向量
• $b$ 是偏置项
• $w^{T}x$表示权重与特征的点积

参数调优方法

在训练逻辑回归模型时，需要选择合适的参数以优化模型性能。以下是常见的参数调优方法：

1. 最大似然估计（MLE）

逻辑回归通常使用最大似然估计来优化参数。目标是最小化对数损失函数，使得模型能够最大化观测数据的概率。
假设我们有一个训练集 $$\{(x^{(i)},y^{(i)}){\}}_{i=1}^m$$，其中 ($x^{(i)}$ ) 是输入特征向量，( $y^{(i)}$ ) 是目标变量（二分类：0或1）。

逻辑回归模型的预测概率为：
$$P(y=1|x;\theta )=\frac{1}{1+e^{-{\theta }^{T}x}}$$
其中 ( $\theta$ ) 是参数向量，( ${\theta }^{T}x$ ) 是线性组合。

对数似然函数（目标函数）为：
L(θ)=∑i=1m[y(i)log⁡hθ(x(i))+(1−y(i))log⁡(1−hθ(x(i)))] L(\theta) = \sum_{i=1}^{m} \left[ y^{(i)} \log h_\theta(x^{(i)}) + (1 - y^{(i)}) \log (1 - h_\theta(x^{(i)})) \right] L(θ)=i=1∑m​[y(i)loghθ​(x