梯度下降策略

梯度下降

  • 引入:当我们得到一个目标函数后,如何进行求解?
    • 直接求解?(并不一定可解,线性回归可以当做是一个特例)
  • 常规套路:机器学习的套路就是我交给机器一堆数据,然后告诉他什么样的学习方式是对的(目标函数),然后让它朝着这个方向去做
  • 如何优化:一口吃不成个胖子,我们要静悄悄的一步步的完成迭代(每次优化一点点,累积起来就是个大成绩了)
  • 目标函数:J(θ0,θ1)=12m∑i=1m(hθ(xi)−yi)2J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^i)-y^i)^2J(θ0,θ1)=2m1i=1m(hθ(xi)yi)2
    在这里插入图片描述
  • 寻找山谷最低点,也就是我们的目标函数终点(什么样的参数能使得目标函数达到极值点)
  • 下山分几步走呢?(更新参数)
    1. 找到当前最合适的方向
    2. 走那么一小步,走快了该“跌倒”了
    3. 按照方向与步伐去更新我们的参数
梯度下降,目标函数:J(θ0,θ1)=12m∑i=1m(yi−hθ(xi))2J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^m(y^i-h_\theta(x^i))^2J(θ0,θ1)=2m1i=1m(yihθ(xi))2
  • 批量梯度下降∂J(θ)∂θj=−1m∑i=1m(yi−hθ(xi))xji\frac{\partial J(\theta)}{\partial \theta_j}=-\frac{1}{m}\sum_{i=1}^m(y^i-h_\theta(x^i))x_j^iθjJ(θ)=m1i=1m(yihθ(xi))xji
    θj′=θj+1m∑i=1m(yi−hθ(xi))xji\theta_j'=\theta_j+\frac{1}{m}\sum_{i=1}^m(y^i-h_\theta(x^i))x_j^iθj=θj+m1i=1m(yihθ(xi))xji
    (容易得到最优解,但是由于每次考虑所有样本,速度很慢)
  • 随机梯度下降θj′=θj+(yi−hθ(xi))xji\theta_j'=\theta_j+(y^i-h_\theta(x^i))x_j^iθj=θj+(yihθ(xi))xji
    (每次找一个样本,迭代速度快,但不一定每次都朝着收敛的方向)
  • 小批量梯度下降θj=θj−α110∑k=ii+9(hθ(xk)−yk)xjk\theta_j=\theta_j-\alpha\frac{1}{10}\sum_{k=i}^{i+9}(h_\theta(x^k)-y^k)x_j^kθj=θjα101k=ii+9(hθ(xk)yk)xjk
    (每次更新选择一小部分来算,实用!)
梯度下降,学习率
  • 学习率(步长):对结果会产生巨大的影响,一般小一些
  • 如何选择:从小的时候,不行再小
  • 批处理数量:32,64,128都可以,很多时候还得考虑内存和效率
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值