线性回归

梯度下降

• 大部分时候我们无法通过求逆得到解,因此需要求近似值来得到解
• 通过微小的试探 一直移动

需要用到的数据

• 损失函数 （用于求最优值
• 梯度 导数如何算
• 步长
• 中止条件

例刀具磨损

如何用向量表示损失函数

公式1

将公式1 变成矩阵点成

前面的 【 t 1】 就是我们的样本 组成一个样本集

X = np.array([[0,1],[1,1],[2,1],[3,1],[4,1],[5,1],[6,1],[7,1]])

X
Out[6]: 
array([[0, 1],
       [1, 1],
       [2, 1],
       [3, 1],
       [4, 1],
       [5, 1],
       [6, 1],
       [7, 1]])

a = -0.3036
b = 27.125
theta = np.array([a,b])
X.dot(theta)
Out[12]: 
array([27.125 , 26.8214, 26.5178, 26.2142, 25.9106, 25.607 , 25.3034,
       24.9998])

A = [x_0,x_1,x_2]
A.dot(A)   就和上面的公式一样

平方求和可以换成点成

点成 就是平方和相加

2.1 AB的转质 = B的转质 * A的转质
(ab)T =BT*AT