【机器学习篇】线性回归和逻辑回归详解

一、线性回归

1. 定义：

   • 线性回归是一种利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。它试图找到一个最佳的线性方程，以描述自变量（输入特征）和因变量（目标变量）之间的关系。

2. 表达式：

   • 一元线性回归的表达式为y=mx+c，其中y是因变量，x是自变量，m是斜率，c是截距。
   • 多元线性回归则涉及多个自变量，表达式可以扩展为y=w'x+e，其中w是权重向量，x是特征向量，e是误差项，通常假设e服从均值为0的正态分布

3. 应用：

   • 线性回归广泛应用于预测和建模领域，如根据面积和卧室数量预测房价、根据广告支出估计销售额等。
   • 它还可以用于趋势分析，如绘制时间序列数据的长期走势图。

4. 优化方法：

   • 线性回归通常采用最小二乘法来找到最佳的模型参数，即使得预测值与实际值之间的平方误差和最小。

二、逻辑回归

1. 定义：

   • 尽管名字中包含“回归”，但逻辑回归实际上是一种分类算法，主要用于二分类问题。它通过拟合一个逻辑函数（也称为Sigmoid函数），将自变量和因变量之间的线性关系转换为概率。

2. 表达式：

   • 逻辑回归的输出是一个概率值，通常在0到1之间。这个概率值表示样本属于正类的可能性。
   • Sigmoid函数的表达式为σ(z)=1/(1+e^(-z))，其中z是自变量和模型参数的线性组合
3. 应用：
   • 逻辑回归广泛应用于分类问题，如根据客户的人口统计信息和购买历史预测客户是否会流失、根据邮件内容判断是否为垃圾邮件等。
   • 它还可以用于多分类问题，但通常需要通过一些策略（如一对多）将其扩展到多分类场景。

4. 优化方法：

   • 逻辑回归通常采用极大似然估计法来求解模型参数，即最大化观测到的数据的概率来估计参数。
   • 在实际应用中，还可以使用梯度下降法等优化算法来求解模型参数。

三、线性回归与逻辑回归的区别与联系

1. 目标变量类型：

   • 线性回归的目标变量是连续的数值型数据。
   • 逻辑回归的目标变量是离散的分类数据（通常是二分类）。

2. 模型输出：

   • 线性回归的输出是预测值，即因变量的估计值。
   • 逻辑回归的输出是概率值，表示样本属于某个类别的可能性。

3. 应用场景：

   • 线性回归主要用于预测和建模连续数值型数据的关系。
   • 逻辑回归主要用于分类问题，特别是二分类问题。
4. 线性回归和逻辑回归联系

               两者之间的联系本质上就是将线性回归计算得到的值映射到sigmoid函数中去，从而进行样本分类