【深度学习与实践】线性回归模型

一、线性回归模型的定义：

        线性回归模型是一种通过‌线性方程‌描述‌自变量（特征）‌与‌因变量（目标）‌之间关系的统计学习方法。其本质是假设因变量 与多个自变量 ​ 之间存在线性关联，并通过数据拟合该线性关系，以进行预测或解释变量间的依赖程度。

定义要点

1.数学形式：

·：因变量（被预测变量）

·：自变量（解释变量，）

·：截距（所有自变量为0时的基准值） 

·：回归系数（每个自变量对y的边际效应,解释变量，）

·：误差项（捕捉未建模因素或随机噪声）

2.核心目的

估计参数 使模型预测值尽可能接近真实值。

通过最小化残差平方和（RSS）实现参数估计，即

 

其中  

3.关键假设 

• 线性性：与自变量间存在线性关系。
• 误差项独立同分布（i.i.d.）、均值为0、方差恒定（同方差性）。

‌与非线性回归的区别‌ 

线性回归的“线性”指‌参数（​）是线性的‌，而非自变量形式。即使自变量含非线性变换（如），只要参数保持线性组合，仍属于线性回归范畴。

 

‌示例‌：
若用面积（​）和房间数（​）预测房价（），模型可表示为：

房价=×面积+×房间数+

其中，​ 表示面积每增加1单位，房价的预期变化量（控制其他变量不变）。

1.是如何确定变量间关系的

线性回归模型通过以下步骤确定变量间的定量关系，核心是‌参数估计‌和‌统计推断‌：

2.如何预测一个变量依赖于其他变量 

线性回归模型通过以下步骤预测一个变量（因变量）对其他变量（自变量）的依赖关系，核心是‌建立线性方程并利用已有数据估计参数‌。以下是其预测机制的详细解释：

 

二、类型 

线性回归模型根据不同的数据特性、问题场景和建模目标，可以分为多种类型。以下是常见的分类及详细说明：