李航《统计学习方法》多项式函数拟合问题V2

最新推荐文章于 2023-11-01 14:30:10 发布

Zillur

最新推荐文章于 2023-11-01 14:30:10 发布

阅读量488

点赞数

本文介绍了一种基于最小二乘法的多项式曲线拟合算法，通过实例演示如何选择合适的多项式阶数来逼近给定的数据集，并给出了Python实现代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述

假定给定一个训练数据集：

T = {(x 1, y 1), (x 2, y 2), \dots, (x N, y N)}

其中，xi∈R是输入x的观测值，yi∈R是相应的输出y的观测值，i=1,2,⋯,N，多项式函数拟合的任务是假设给定数据由M次多项式函数生成，选择最有可能产生这些数据的M次多项式函数，即在M次多项式函数中选择一个对已知数据以及未知数据都有很好预测能力的函数。

设M次多项式为

f M (x, w) = w 0 + w 1 x + w 2 x 2 + \dots + w M x M = \sum j = 0 M w j x j

式中x式单变量输入，w0,w1,⋯,wm是M+1个参数。

用平方损失作为损失函数，系数12是为了方便计算，将模型与训练数据代入，有

L (w) = 1 2 \sum i = 1 N (\sum j = 0 M w j x j i - y i) 2

对wj求偏导并令其为0

书里这里的求导是错误的，就不写错误的推导了，下面给出正确的推导

s e t \partial L ( w ) \partial w k = 0 \Rightarrow 1 2 \sum i = 1 N 2 (\sum j = 0 M w j x j i - y i) \times x k i = 0 \Rightarrow \sum i = 1 N \sum j = 0 M w j x j i ＝ \sum i = 1 N x k i y i (k = 0, 1, 2, \dots, M)

所以要求拟合多项式系数w∗0,w∗1,⋯,w∗M需要解下面这个线性方程组，下面的求和符号上下限都是i=1到N,为了方便略去不写。

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ N \sum x i \sum x 2 i ⋮ \sum x M i \sum x i \sum x 2 i \sum x 3 i ⋮ \sum x M + 1 i \sum x 2 i \sum x 3 i \sum x 4 i ⋮ \sum x M + 2 i \dots \dots \dots ⋱ \dots \sum x M i \sum x M + 1 i \sum x M + 2 i \dots \sum x 2 M i ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ w 0 w 1 w 2 ⋮ w m ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \sum y i \sum x i y i \sum x 2 i y i ⋮ \sum x M i y i ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

所以计算出∑i=1Nxji(j=0,1,2,⋯,2M)和∑i=1Nxjiyi(j=0,1,2,⋯,M)然后将这些值带入上述线性方程组求解即可。

下面给出python实现

# coding=utf-8

'''
作者:Xiaole Wen
程序:多项式曲线拟合算法
'''
import matplotlib.pyplot as plt
import math
import numpy
import random

fig = plt.figure()
ax = fig.add_subplot(111)

#在这里给出拟合多项式的阶数
order=9

#生成曲线上的各个点
x = numpy.arange(-1,1,0.02)
y = [((a*a-1)*(a*a-1)*(a*a-1)+0.5)*numpy.sin(a*2) for a in x]
#ax.plot(x,y,color='r',linestyle='-',marker='')
#,label="(a*a-1)*(a*a-1)*(a*a-1)+0.5"
plt.plot(x,y)
#生成的曲线上的各个点偏移一下，并放入到xa,ya中去
i=0
xa=[]
ya=[]
for xx in x:
    yy=y[i]
    d=float(random.randint(60,140))/100
    #ax.plot([xx*d],[yy*d],color='m',linestyle='',marker='.')
    i+=1
    xa.append(xx*d)
    ya.append(yy*d)

ax.plot(xa,ya,color='m',linestyle='',marker='.')
#存储从0次到m次的所有冥方和
bigMat=[]
for j in range(0,2*order+1):
    sum=0
    for i in range(0,len(xa)):
        sum+=(xa[i]**j)
    bigMat.append(sum)

#计算线性方程组系数矩阵
matA=[]
for rowNum in range(0,order+1):
    row=bigMat[rowNum:rowNum+order+1]
    matA.append(row)

matA=numpy.array(matA)

matB=[]
for i in range(0,order+1):
    ty=0.0
    for k in range(0,len(xa)):
        ty+=ya[k]*(xa[k]**i)
    matB.append(ty)

matB=numpy.array(matB)

matAA=numpy.linalg.solve(matA,matB)

#画出拟合后的曲线
#print(matAA)
xxa= numpy.arange(-1,1.06,0.01)
yya=[]
for i in range(0,len(xxa)):
    yy=0.0
    for j in range(0,order+1):
        dy=(xxa[i]**j)
        dy*=matAA[j]
        yy+=dy
    yya.append(yy)
ax.plot(xxa,yya,color='g',linestyle='-',marker='')

ax.legend()
plt.show()




1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83