李宏毅 机器学习 -2017- Gradient Descent

最新推荐文章于 2022-10-25 23:39:43 发布
最新推荐文章于 2022-10-25 23:39:43 发布
阅读量173 收藏
点赞数
分类专栏： DeepLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zjguilai/article/details/89947443
版权

由梯度（偏微分）和学习速率来更新新的训练参数，Gradient为Loss等高线的法线方向，注意负号
在这里插入图片描述
在这里插入图片描述
2）Learning Rate的调节方法
1）画出loss的更新曲线
2）自动调Learning Rate(与目标远的时候调高learning Rate,近的时候调低Learning Rate)
3)针对每个不同的参数设置不同的learing Rate:(Adagrad):每次更新w参数的时候在梯度上除以之前迭代所求出的梯度的均方根，等同二次微分

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3） Feature Scaling (参数因子的值域范围一样)
标准正则化：（x-u）/sigma
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
4)求在局部某点临近范围内的最小Loss通过对factor求全微分
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
梯度最大的问题是会陷入马鞍线上的点（saddle），局部最优点，非常平缓的地带

统计2 泊松过程 大数定理 正态分布
power0405hf的专栏
06-04 2655
二项分布的方差：variance = np(1-p)泊松过程假设1.各个时间车流量没有差异 2.一段时的车流量对另一段时间没有影响：随机变量X=每小时某路口通过的车辆 E（X）=lambda = n*p (建模为二项分布) = 60(min/hour)*lambda/60 (cars/min) P(X=k)=C(60,k)(lambda/60)^k(1-lambda/60)^(60-k) 如
机器学习线性回归（linear regression）/梯度下降法（gradient descent)/最大似然函数/--附python代码
helen1313的专栏
10-27 3904
线性回归是一个比较简单的算法，这里主要借线性回归，讲一下梯度下降法和最大似然函数，后面逻辑回归也会用到。
A/B测试-指标的统计属性
luolita001的博客
01-13 1339
文章目录A/B测试-指标的统计属性1.指标类型2.描述业务数据3.理解假设检验A/B测试中，更推荐双尾检验拒真与取伪两种错误 该内容来自于极客时间A/B测试从0到1课程 A/B测试-指标的统计属性 1.指标类型 在实际业务中，常用的指标有两类 均值类：用户的平均使用时长，平均购买金额，平均购买频率 概率类：点击率，转化率，购买率 这些指标是用来表征用户行为的，而用户行为是随机的，因此这些指标是由一系列随机事件组成的变量 用概率分布来表征随机变量取不同值的概率和范围。 在数量足够大时，均值类指标服从正
机器学习笔记
qq_42757943的博客
03-15 1432
机器学习
推荐系统（三）
aicang3370的博客
09-15 150
(原创文章，转载请注明出处！) 推荐系统关注的是人与物品，希望预测出人对物品的喜欢程度。不同的人有相近的喜好（比如：都喜欢武侠小说），不同的物品有相近的特征（比如：都是武侠小说）。当想预测一个用户A对其还没有评价的的物品T的评分时，可以从两个角度来考虑：找和用户A有相近喜欢的人，通过他们对物品T的评分，来估计用户A对物品T的评分；另外一个角度是用户A已经评价过的物品，看看哪些物品与物品...
李宏毅机器学习--课后作业HW_1
热门推荐
青春正当时
07-19 1万+
看了李宏毅老师讲的机器学习课程，真的是受益匪浅，老师讲课非常有意思，不是空洞的讲数学公式，以及抽象的理论，通过在课堂上加入游戏元素来引导大家学习，我个人觉得这种方式是很好的，而且原理讲的也很清楚，适合小白学习，这里有B站的视频链接，有兴趣的可以去看一下【李宏毅《机器学习》-哔哩哔哩】，因为没有字幕，所以可以配着学习笔记学（李宏毅机器学习笔记，来自于Datawhale的学习笔记，这个平台也是国内一个很好的学习AI的开源平台，有兴趣的可以去关注下）
李宏毅机器学习-----Gradient Descent
zyuPp的博客
08-01 354
Gradient Descent 在学习Regression的时候，我们第一次接触到gradient descent这个概念，我们知道了它是用于找到最优的function，计算loss function的一种方法。我们的目的是计算L(θ\thetaθ)最小的时候，即找到最优的参数θ∗\theta^{*}θ∗. 最小二乘法与梯度下降法的关系: 相同点： 1.本质相同：两种方法都是在给定已知数据的前...
李宏毅机器学习笔记---Gradient Descent
苍雪的博客
07-29 613
Gradient Descent In step3,we have to solve the following optimization: 找到使得Loss Function最小的parameter Tuning your learning rates 学习率 太大太小均不可以 Adaptive learning Rates Adagrad 给每一个参数一个不同的learning rate 过去所有计算过的微分值的均方根（即所有微分值的平方再平均再开根号） ..
李宏毅2020机器学习课程笔记-Gradient Descent
peacefairy的博客
09-16 344
Gradient Descent1、Gradient Descent的基本操作2、Gradient Descent的几个小tips3、Gradient Descent为什么会work？（原理）4、Gradient Descent的局限 1、Gradient Descent的基本操作 回顾一下机器学习的步骤，定义一个Model（function set），利用损失函数评估function的好坏，最后利用gradient descent 方法找到最优的function。 梯度下降法就是找到最优的参数解，使得损失
2021李宏毅机器学习笔记--3.gradient descent梯度下降
guoxinxin0605的博客
04-19 306
2021李宏毅机器学习笔记--3.gradient descent梯度下降梯度下降基本步骤step 1：设定初始值step 2：计算微分step 3：移动到下一步梯度下降的注意事项tip 1：turning your learning rates ηAdagrad一种梯度下降的优化算法tip 2：stochastic gradient descent随机梯度下降tip 3：feature scaling特征缩放梯度下降的限制 梯度下降基本步骤 梯度下降法是用于帮助我们找到一个函数集中最好的函式，也就是损失函
【李宏毅机器学习笔记】3、gradient descent
ACL_lihan的博客
02-04 1455
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent ------------------------------------------------------------------------------------------------------ 【李宏毅深度强化...
[机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降）
Holeung blog
06-01 7900
[机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降） PDF VIEDOReview 梯度下降的三个小贴士Tip 1 Tuning your learning rates 最流行也是最简单的做法就是：在每一轮都通过一些因子来减小learning rate。 最开始时，我们距离最低点很远，所以我们用较大的步长。 经过几轮后，我们接近了最低点，所以我们减
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2454
李宏毅机器学习--self-supervised--BERT和GPT
李宏毅机器学习-----深度学习简介
zyuPp的博客
08-13 1354
Introduction of deep learning 从逻辑回归引导到深度学习，李宏毅教授在前一节课生动形象地给我们稍微介绍了一下神经网络的模样，今天就正式介绍一下deep learning是什么，它的发展历史，以及deep learning的三板斧，马上进入正题！ 深度学习的历史发展 要了解一样东西，我们必须要先从它的历史发展开始，知道它出现的原因以及它对我们产生了什么影响。 上图已经把...
用Python编写CNN的网络结构（便于进行网络分析和论文书写）
zjguilai的博客
06-10 3196
draw_convnet Python script for illustrating Convolutional Neural Network (ConvNet) Example image With flag_omit=False With flag_omit=True 代码： from matplotlib.patches import Circle from matplotlib.pa...
机器学习的激励函数的故事
zjguilai的博客
06-12 3023
1）七种激活函数列举： 2）解析列举 3）总结： 1）最早的是sigmoid,它与tanh换汤不换药，都有梯度饱和效应的局限，让大部分网络瘫痪， 2）目前最常用的是ReLU，但是一定要注意参数初始化和学习率的选择设置(这里还是个问题！！！) 3）为了提高模型精度，我们会去考虑那部分输出为零一下的梯度，于是分别出现了：Leaky ReLU,参数化ReLU,随机化ReLU,和指数化ELU ...
机器学习总结1：四种变量表示方法以及范数的求法
zjguilai的博客
06-10 2025
1：变量表示方法 2.变量的范数的应用意义 监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们...
机器学习的理论基础-1：矩阵1
zjguilai的博客
05-07 1428
1.名词：矩阵，张量，转置，主对角线，广播 2.矩阵和向量相加–>广播 eg： ##广播 矩阵加向量 import numpy as np a=np.array([[1,2,3],[4,5,6],[7,8,9]]) c=[1,2,3] print(a) b= a+100 print(b) d=a+c print(d) e =a/...
tensorboard超全代码解释（调试网络）
zjguilai的博客
06-07 1243
tensorboard代码解析 1）简单激活关闭graph的方法 【1】程序1.0 # coding: utf-8 import tensorflow as tf a = tf.constant(2) b = tf.constant(3) x = tf.add(a, b) with tf.Session() as sess: # 激活 tensorboard,把graph文件夹设在当前代...
李宏毅机器学习课件全集（1-15）
本压缩文件是一系列关于机器学习的课程资料，由李宏毅教授整理，涵盖了其2020最新课程的第1至第15次作业的课件。这些课件以PPT格式呈现，包含了机器学习领域的重要知识点和理论介绍。由于具体的数据集非常庞大，因此...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值