多元线性回归 ——模型、估计、检验与预测

本文详细介绍了多元线性回归模型的假设,包括自变量和因变量的线性关系,以及相关假设。接着,讨论了三种估计方法:普通最小二乘法、最大似然估计和矩估计,并指出它们的一致性。模型检验部分涵盖了拟合优度、总体线性和变量显著性。最后,简要提及了回归模型在预测中的应用。

一、模型假设

传统多元线性回归模型

最重要的假设的原理为:

1. 自变量和因变量之间存在多元线性关系,因变量y能够被x1,x2….x{k}完全地线性解释;2.不能被解释的部分则为纯粹的无法观测到的误差

其它假设主要为:

1.模型线性,设定正确; 2.无多重共线性; 3.无内生性; 4.随机误差项具有条件零均值、同方差、以及无自相关; 5.随机误差项正态分布

具体见另一篇文章:回归模型的基本假设

二、估计方法

目标:估计出多元回归模型的参数

注:下文皆为矩阵表述,X为自变量矩阵(n*k维),y为因变量向量(n*1维)

OLS(普通最小二乘估计)

思想:多元回归模型的参数应当能够使得, 因变量y的样本向量 在 由自变量X的样本所构成的线性空间G(x)的投影(即y’= xb)为向量y在 线性空间G(x)上的正交投影。直白一点说,就是要使得(y-y’)’(y-y’)最小化,从而能够使y的预测值与y的真实值之间的差距最小。

使用凸优化方法,可以求得参数的估计值为:b = (x’x)^(-1)x’y

最大似然估计

既然已经在假设中假设了随机误差项的分布为正态分布,

### 如何评估和验证多元线性回归预测模型的性能 #### 使用统计指标衡量模型性能 为了全面评价多元线性回归模型的表现,可以依赖一系列重要的统计度量工具。其中最常用的包括但不限于: - **决定系数 \( R^{2} \)** :该值反映了自变量解释因变量变异的比例,范围介于0到1之间,越接近1表示拟合效果越好[^2]。 - **调整后的 \( R^{2} \)** :考虑到增加更多特征可能导致过拟合现象的发生,因此引入了经过自由度校正过的版本——调整\( R^{2}\),它能够更公正地反映加入新特性后的真实贡献程度。 ```python from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error import numpy as np def evaluate_model(y_true, y_pred): """Evaluate regression model performance.""" # Calculate metrics mse = mean_squared_error(y_true, y_pred) rmse = np.sqrt(mse) mae = mean_absolute_error(y_true, y_pred) r2 = r2_score(y_true, y_pred) print(f'Mean Squared Error (MSE): {mse:.4f}') print(f'Root Mean Squared Error (RMSE): {rmse:.4f}') print(f'Mean Absolute Error (MAE): {mae:.4f}') print(f'R-squared Score: {r2:.4f}') # Example usage with dummy data points y_actuals = [3, -0.5, 2, 7] predictions = [2.5, 0.0, 2, 8] evaluate_model(np.array(y_actuals), np.array(predictions)) ``` #### 进行假设检验确认参数有效性 除了上述定量描述外,还需要通过特定类型的统计测试来判断哪些输入因素确实有助于提高预测能力而不只是偶然关联。这涉及到以下几个方面的工作: - **F检验**:用来整体上考察所有独立变量作为一个集合是否具有显著影响力,即整个方程式的合理性。 - **T检验**:针对单个斜率项分别实施,旨在检测某个具体属性对于目标输出是否存在实质性作用。 #### 检查残差性质确保满足基本假定条件 最后一步则是细致审查误差分布情况,因为理想的随机扰动应该具备如下特点: - 平均值为零; - 方差恒定不变(同方差性); - 彼此间相互独立; - 遵循近似的正态分布规律[^5]。 可以通过绘制散点图观察残差相对于预测值得变化趋势以及应用QQ Plot直观感受其偏离理想直线的程度来进行初步诊断。此外还有Shapiro-Wilk Test等正式手段可用于量化评估正态性的优劣状况。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值