回归方程在python中的复现#花树P69_python 复现公式-优快云博客

本文介绍如何使用正规方程求解线性回归问题，并通过Python代码实现了正规方程的计算过程。文章展示了如何寻找使得均方误差(MSE)最小化的权重向量W，以及通过图表形式直观地呈现了不同权重值下MSE的变化。

正规方程

本周实现花树P69页正规方程在python中的复现。
首先，回归方程的建模公式如下图：
在这里插入图片描述
其中y^ 为向量，W为向量，X为矩阵。其中W权值是我们最后所求的，因此我们引入均方误差MSE作为衡量模型最终效果的指标，公式如下：

其中，y^为测试集预测值向量，y为测试机真实值向量。然后对MSE求导，求其倒数为0的点时，W的值：
在这里插入图片描述

最后求得式5.12，为正规方程式。用正规方程求得的W，为MSE最小时的W，是最逼近样本点的回归方程。其中比较难的一步是5.10到5.11的求导，这里放上公式：

简单的理解是W.TX.TWX 为一个二次型，而且W.TX.TWX 最后结果是一个标量，因此对W求导，则会求得2X.TX.W。

python中复现回归方程

这里为了方便展示，x我们只取一维x1，因此W也只有一个W1。

# -*- coding: utf-8 -*-
"""
Created on Fri Oct 14 17:07:03 2022

@author: dell
"""

import numpy as np
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #　显示中文
plt.rcParams['axes.unicode_minus'