线性回归与 Softmax 回归：深度学习入门核心模型解析

在深度学习的知识体系中，线性回归与 Softmax 回归是两大基础且关键的模型。线性回归作为回归任务的入门典范，为理解模型构建与参数优化提供了基础框架；Softmax 回归则是解决多分类问题的重要工具，是连接简单模型与复杂神经网络的桥梁。本文将结合实际应用场景，从模型原理、优化方法到损失函数，全面解析这两大模型，帮助读者夯实深度学习基础。

一、线性回归：从房价预测看回归任务本质

线性回归的核心目标是学习一个线性函数，建立输入特征与连续输出标签之间的映射关系，其典型应用场景之一便是房价预测。

（一）线性回归的模型构建

当我们看中一套房子时，通常会根据房屋的面积、卧室数量、地段等特征（输入X）来估计其价格（输出y）。线性回归通过以下公式实现这种映射：

• 单样本场景：y=wTx+b，其中x是单个样本的特征向量，w是特征权重向量，b是偏置项，
  wTx表示向量w与x的内积。
• 多样本场景：y=Xw+b，其中X是包含多个样本的特征矩阵（每行代表一个样本，每列代表一个特征），w是特征权重向量，b是偏置项，y是对应样本的预测输出向量。

（二）线性回归的优化核心：梯度下降法

线性回归的训练过程，本质是寻找最优参数（w和b），使模型预测值与真实值的差距（损失）最小化。这一过程依赖于梯度下降法，其核心逻辑与优化步骤如下：

1. 梯度的定义与意义

梯度是由函数所有变量的偏导数汇总而成的向量，具有两个关键特性：

• 梯度指向函数值增加最快的方向，因此其反方向是函数值减小最快的方向，这为寻找损失最小值提供了 “方向指引”。
• 离函数最小值点越远，梯度的绝对值越大，意味着在远离最优解时，参数调整的 “步幅” 可更大；靠近最优解时，步幅会自动减小，避免越过最优解。

2. 梯度下降的迭代流程

梯度下降通过 “沿梯度反方向迭代更新参数” 实现损失最小化，具体步骤如下：