Lu君的博客

numpy 实现线形回归解析解公式解析解公式：θ=(xTx)−1xTy\theta=(x^{T}x)^{-1}x^{T}yθ=(xTx)−1xTy目标函数：y=w0x0+w1x1y=w_{0}x_{0}+w_{1}x_{1}y=w0​x0​+w1​x1​import numpy as npimport matplotlib.pyplot as plt# 随机x纬度x1，rand是随机...

回顾梯度下降流程#1 初始化 θ\thetaθ#2 求 gradient#3 θt+1=θt−α•g\theta^{t+1}=\theta^{t}-\alpha • gθt+1=θt−α•g#4 ggg 收敛批量梯度下降 BGD批量：Batch梯度：Gradient下降：Descent“Batch”: Each steep of gradient descent use all ...

回顾梯度下降流程#1 初始化 θ\thetaθ#2 求 gradient#3 θt+1=θt−α•g\theta^{t+1}=\theta^{t}-\alpha • gθt+1=θt−α•g#4 ggg 收敛随机梯度下降 SGD随机：Stochastic梯度：Gradient下降：Descent每一步下降用随机抽取的样本优点：速度快缺点：精度下降for i = 1 to m...