梯度下降法的矩阵方式描述
主要讲解梯度下降法的矩阵方式表述,要求有一定的矩阵分析的基础知识,尤其是矩阵求导的知识。
1. 先决条件:需要确认优化模型的假设函数和损失函数。对于线性回归,假设函数
hΘ(x)=Θ0x0+Θ1x1+Θ2x2+⋯+ΘnxnhΘ(x)=Θ0x0+Θ1x1+Θ2x2+⋯+Θnxn
的矩阵表达方式为:
hΘ(x)=XΘhΘ(x)=XΘ
其中, 假设函数
hΘhΘ
为
y^(m∗1)y^(m∗1)
的矩阵,
ΘΘ
为
Θ(n∗1)Θ(n∗1)
的向量,里面有n个代数法的模型参数。
X(m∗n)维的矩阵。