笔记-梯度下降

最新推荐文章于 2025-08-08 18:02:29 发布
原创 最新推荐文章于 2025-08-08 18:02:29 发布 · 342 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #梯度下降

考研（保研）之路-面试
ZSY的大后台
05-05 3483
可能对于大多数人来说，复试就是在报考院校公布了面试名单，发现自己上线了，然后去参加相关测试。对我来说，所有与初始无关却又是为了最终能被目标院校录取所做的工作都算复试相关工作。这一篇主要谈谈研究生考试前做的相关工作，也可以算2016年为最终复试做的准备工作。信息搜集虽然没有保研资格，但是为了见识见识，我也如很多保研生一样参加了夏令营，女朋友参加计算所，室友参加了清华夏令营。无论是考研还是保研，信息搜集
考研之路-复试
ZSY的大后台
05-09 1795
本篇紧接上一篇考研（保研）之路-面试介绍信工所复试相关的工作。我的理解中，复试并不只是官方通知后目标院校组织的复试考核，还应该包括研究生考试结束后-官方通知前这一时间段所做的一些工作。按时间轴来划分可以分为如下几个阶段。研究生考试结束——成绩出之前研究生考试过后，自我感觉考得好的同学可以马上联系心仪的导师（如果还没有找到，可以进行信息搜集，同参见上一篇文章），有了提前面试和考试成绩的双保险一般就可以
考研之路-始
ZSY的大后台
05-02 729
本篇主要记录考研准备开始前的大致过程。鉴于自己曾经0分大学英语挂科的情况，已经确定无法获得保研资格。在2016.3-2016-5的过程中，没有找到满意的暑期实习，加之对于读研这个事情是否必要的考虑，决定参加研究生考试来满足进一步学习的意愿。除于对自己能力与知识量的自信，选择了一条不太一样的考研之路。之前对于读研和工作的事情考虑过于简单，始终觉得虽然工作和考研最终获得的东西有所区别，但在同等时间情况下
学习笔记-梯度下降算法
最新发布
2302_80173258的博客
08-08 838
本文介绍了梯度下降算法及其常见优化器。梯度下降通过计算目标函数的梯度来更新参数，优化模型性能。主要内容包括：1）梯度下降原理，通过迭代更新参数最小化损失函数；2）常见优化算法：批量梯度下降（全局梯度但计算量大）、随机梯度下降（高效但波动大）、小批量梯度下降（折中方案）；3）高级优化器如带动量的梯度下降（平滑更新方向）和Adam（自适应学习率）。这些方法在深度学习中有广泛应用，各有优缺点，需根据具体场景选择合适的优化策略。
pytorch学习笔记-梯度下降算法
chena_1的博客
01-15 477
中：计算梯度的时候，每一个点都是互不影响的，计算f（xi）和f（xi+1）是互不影响的，也就是说他们之间的运算是可以并行的，因为用的是cost函数作为梯度的分母。我们随机取四个区域，计算出每个区域中最好的结果，再在选中的结果区域中再取四个区域…中：w = w - のg（xi）/のw 梯度前面的w是依赖于上一次的计算结果的。我们得到的训练过程曲线（cost图像）一般不是平滑的，所以我们在画图的时候可以。如果cost函数的图像是上图这样，到红圈的位置后，就无法梯度下降了，，但是存在一种特殊的点。
机器学习笔记-梯度下降法
weixin_54814385的博客
01-09 1752
机器学习-梯度下降法
飞控学习笔记-梯度下降算法（gradient descent algorithm）
yunddun的博客
07-14 1175
笔记来源于文章：An_efficient_orientation_filter_for_inertial_and_inertial_magnetic_sensor_arrays共轭： 四元数叉乘：欧拉角等式：
Pytorch学习笔记04----梯度下降算法
AI Chen的博客
03-30 2654
  本文主要对梯度下降算法的基本原理进行了讲解，然后使用手写梯度下降算法解决了线性回归问题。最后对 PyTorch 中的反向传播函数进行了讲解并利用该函数简明快速的完成了损失的求导与模型的训练。 梯度下降算法一、人工梯度下降算法1.线性回归问题2.梯度下降算法3.人工实现梯度下降算法二、利用 PyTorch 实现梯度下降算法 一、人工梯度下降算法   我们使用梯度下降算法来对线性回归问题进行求解。 1.线性回归问题   现行回归问题其实就是寻找一条合适的直线(y=ωxy=\omega xy=ωx)用以表示所
笔记 - 梯度下降：平原现象与振荡现象
chen_holy的博客
06-04 2375
TODO 从数学上证明梯度下降更新会导致参数发散
机器学习-学习笔记-梯度下降-SGD/BGD
u010561073的专栏
02-23 2088
机器学习-学习笔记-梯度下降-SGD/BGD根据Andrew Ng的Lecture notes, 我重新整理了梯度下降（including LMS/BGDSGD）的相关知识。首先，引入一个例子， 假设我们现在有一个数据集，数据集中包含了A城市的47套房屋的信息，信息有房屋的居住面积，房间数量和价格，数据集如下图。我们要做的是，根据房屋的居住面积和房间数量来预测它的价格。 简单的以 x1x_1 表
Pytorch ---- 梯度下降 学习笔记~~~~~
深度不学习！！的博客
10-22 804
假设所取点为图中红心点。要找到下降的一侧。则求红心点出的导数。按导数定义走。 导数大于0，则X往靠近原点的方向走， 导数小于0，则X往靠近无穷大的方向走。 所以找到负导数的方向。即为下降的方向。 所以在梯度下降算法中，更新权重的方法: a为学习率 （即为往前走多少） ...
03机器学习--梯度下降及python实现
weixin_44446756的博客
04-12 3761
①概述 不是一个机器学习算法 是一种基于搜索的最优化方法 作用：最小化一个损失函数 梯度上升法：最大化一个效用函数 思路：由上图可知，在损失函数上的某一个点，希望经过变化到达损失函数最小值点，所以对损失函数求导，导数代表函数增大的方向，为了让函数变小，所以在导数前面增加负号，又因为需要逐步靠近最低点，所以在导数前面增加了步长，逐步靠近导数为0的位置。下降的速度就是由决定 称为学习率（learning rate） 的取值影响获得最优解的速度 的取值不合适，甚至得不到最优解 是梯度下降法
机器学习学习笔记（6）----梯度下降
swordmanwk的专栏
05-17 318
有很多机器学习的模型的最优化参数不能像普通最小二乘法那样算出解析解，此时需要使用迭代优化方法。梯度下降优化方法是通过让w值沿着梯度下降的方向逐步迭代演进，从而使得损失函数最小化的过程。 梯度下降的数学表达式： 其中是步长，也叫学习率，学习率选的大，损失函数不收敛，选的小，收敛又太慢。:= 表示迭代运算。 在《机器学习学习笔记（4）----线性回归的数学解析》中我们推导过线性回归模型的损失函数的梯度公式： 把线性回归模型的梯度公式代入到梯度下降公式中： ...
笔记-图嵌入（Graph Embedding）
热门推荐
ZSY的大后台
06-29 1万+
图嵌入（Graph Embedding，也叫Network Embedding）是一种将图数据（通常为高维稠密的矩阵）映射为低微稠密向量的过程，能够很好地解决图数据难以高效输入机器学习算法的问题。知识图谱属于异构图数据，即节点与边不只一种类型。了解图嵌入能帮助理解图数据的处理过程，拓展思考问题的思路（传统ML基本都是table类型的数据），也能对未来可能的知识图谱研究做一些铺垫准备。学习参考链接如...
笔记(总结)-序列标注问题与求解
ZSY的大后台
07-18 5113
在讲述了大量的概率图模型后，本篇介绍下它发挥作用的主要场景——序列标注（Sequence Labaling）。序列包括时间序列以及general sequence，但两者无异。连续的序列在分析时也会先离散化处理。常见的序列有如：时序数据、本文句子、语音数据、等等。常见的序列问题有： 拟合、预测未来节点（走势分析，如股票预测、销量预测等） 判定序列所属类别，即分类问题（如语音识别，判断声音序列所...
笔记(总结)-注意力机制(Attention)简述
ZSY的大后台
07-20 5007
本篇主要针对注意力（Attention）机制进行简要描述。Attention是为了解决Sequence-to-Sequence中的一些问题而提出的，本身的逻辑十分简洁。Attention的产生过程反映了解决问题的一种最直接的思路，正如Resnet中提出“残差”的概念一样，简单直接的就能解决问题，而且思路没有绕任何弯子。这在科研工作中是十分难得的。下面结合机器翻译问题来回顾下这整个过程。 Se...
笔记-Tukey Method发现outliers（离群点）
ZSY的大后台
11-30 3677
在大规模数据集中，由于噪声、扰动、采样过程误差等等原因，会出现一些数据点偏移整个数据集。假想整个数据集由某未知分布生成，则这些点可以看做该未知分布下的噪声采样。在可视化情况下，这些点显著偏移了数据集的点群，故称为离群点。而众多机器学习算法对数据分布都存在着一定的假设或期待数据集较为“规整”。因此在数据挖掘中，常需要在预处理中去除该类点，让算法能更好地发现“正常”数据间存在的关系。Tukey Meth
论文列表——NAACL 2019
ZSY的大后台
03-06 3595
最近NAACL-2019接收列表出了，列出感兴趣的paper，供之后阅读： 名称 类型 关键字 阅读价值 笔记 Deep Adversarial Learning for NLP tutorial Transfer Learning in Natural Language Processing tutorial Applications of Natural L...
论文列表——sentiment analysis
ZSY的大后台
01-25 3391
情感分类属于文本分类的一个应用场景，一般都是人（用户）对某些具体事物（商品、事件）表达某些情感。落地场景是很多的。这学期最开始是做stance detection相关的工作，而其中target-specific stance detection和情感分类中的aspect-based sentiment analysis是很相关的，而AIC的比赛又正好是这个后者，所以顺便调研了下sentiment ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值