【概率论】期末复习笔记：一元线性回归

最新推荐文章于 2025-11-25 14:11:30 发布

原创

最新推荐文章于 2025-11-25 14:11:30 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#概率论 #线性回归 #数学 #回归

一元线性回归是研究两个变量间线性关系的统计方法，通过最小二乘法确定回归直线方程，估计参数a和b，以及误差项的方差σ^2。模型包括Y=αe^βx·ε和Y=α+h(x)ε，可以通过转换为线性形式进行分析。

一元线性回归

一、回归分析
二、一元线性回归模型
三、 $a, b$ 和 $\sigma^2$ 的估计
四、可化为一元线性回归的模型
- 1. $Y=\newcommand{\td}{\,\text{\textasciitilde}\,}\alpha e^{\beta x}\cdot\varepsilon,\,\ln\varepsilon\td N(0,\sigma^2)$
- 2. $Y=\alpha+\beta h(x)+\varepsilon,\,\varepsilon\newcommand{\td}{\,\text{\textasciitilde}\,}\td N(0,\sigma^2)$

一、回归分析

变量之间的关系可能是确定性关系（函数关系），也可能是统计依赖关系（相关关系）。在相关关系中，“因变量”是随机变量，它的取值带有不确定性，不能用考察函数关系的方法进行分析，而要用统计学的方法。考察相关关系的方法有两种：当自变量是可以测量和控制的非随机变量时，采用回归分析（regression analysis）；如果自变量也是随机变量或不可控变量，采用相关分析（correlation analysis）。

二、一元线性回归模型

回归函数：设 $x$ 为可控变量， $Y$ 为与之相关的随机变量。当自变量 $x$ 取确定值时， $Y$ 有一确定的（条件）分布与之对应。如果 $Y$ 的数学期望存在，那么其取值随 $x$ 的取值而定，因而它是 $x$ 的函数，记为 $\mu(x)$ ，即 $\mu(x)=E(Y|x)$ ，则称 $\mu(x)$ 为 $Y$ 关于 $x$ 的回归函数。 $\textcolor{orange}{\text{函数关系：}x\text{确定}\longrightarrow Y\text{的\underline{取值}唯一确定}}\\ \textcolor{green}{\text{回归分析：}x\text{确定}\longrightarrow Y\text{的\underline{分布}唯一确定}}$ 回归分析的基本任务是利用试验数据来估计 $Y$ 关于 $x$ 的回归函数 $\mu(x)$ 。

一元线性回归问题：设 $Y$ 关于 $x$ 的回归函数为 $\mu(x)$ ，若 $\mu(x)$ 为线性函数 $\mu(x)=a+bx$ ，此时估计 $\mu(x)$ 的问题称为一元线性回归问题。

一元线性回归模型：设 $x$ 是可控变量， $Y$ 是依赖于 $x$ 的随机变量，假定 $\newcommand{\td}{\,\text{\textasciitilde}\,}\begin{cases} Y=a+bx+\varepsilon\\ \varepsilon\td N(0,\sigma^2) \end{cases}$ 其中未知参数 $a,b,\sigma^2$ 都不依赖于 $x$ ，则称该模型为一元线性回归模型。

样本： $(x_1,Y_1),(x_2,Y_2),\cdots,(x_n,Y_n)$ （ $Y_1,Y_2,\cdots,Y_n$ 是相互独立的随机变量）
样本值： $(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)$

一元线性回归模型的样本形式： $\newcommand{\td}{\,\text{\textasciitilde}\,}\begin{cases} Y_i=a+bx_i+\varepsilon_i\\ \varepsilon_i\td N(0,\sigma^2) \end{cases}\;(i=1,2,\cdots,n),\,\text{且}\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\text{相互独立}$ 经验回归直线方程：如果由 $(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)$ 得到了未知参数 $a, b$ 的估计值 $\hat{a},\hat{b}$