李沐动手学习深度学习——4.4练习

1. 这个多项式回归问题可以准确地解出吗？提示：使用线性代数。

可以准确的解出来，本质上就是矩阵相乘，第一个矩阵的参数w，第二个参数是x的多项式，和之前的一次的函数拟合一样的。

第一个矩阵w求解的是[5, 1.2, -3.4, 5.6]，利用机器学习进行拟合，而第二个矩阵是[1, x, x^2, x^3]。同时原方程是是一个线性函数，所以可以通过机器学习的方式进行拟合。

证明公式如下：
l = ∣ ∣ X w − y ∣ ∣ 2 = ( X w − y ) T ( X w − y ) = w T X T X w − w T X T y − y T X w + y T y d l d w = 2 X T X w − X T w − 2 X T y d l d w = 2 X T X w − X T w − 2 X T y = 0 X T y = X T X w w = ( X T X ) − 1 X T y \begin{split} l &= ||Xw-y||^{2}\\ & =(Xw-y)^{T}(Xw-y)\\ &=w^{T}X^{T}Xw-w^{T}X^{T}y-y^{T}Xw+y^{T}y\\ \frac{dl}{dw} &=2X^{T}Xw-X^{T}w-2X^{T}y\\ \frac{dl}{dw} &=2X^{T}Xw-X^{T}w-2X^{T}y = 0\\ X^{T}y&=X^{