反向用随机梯度下降来优化人生

瑞萨RA6M4平台I2C驱动移植实战:MPU6050传感器集成指南 本文详细介绍了在瑞萨RA6M4平台上进行I2C驱动移植并集成MPU6050传感器的实战指南。通过FSP配置工具添加I2C主栈,适配MPU6050官方驱动,实现传感器数据读取与调试,为嵌入式开发提供完整的解决方案。 阅读详情

本文作者: 电光幻影炼金术

https://www.zhihu.com/question/489380225/answer/2143256952

沐神对本回答的评论,hhh

1fdb8a23269731b6d71db815f798a81a.png

看完李沐老师的文章亚马逊首席李沐 | 用随机梯度下降来优化人生反向用随机梯度下降来优化人生“的方案。下文与李沐老师的文章一一对应,李沐老师的放在了引用块里。

不是很懂优化这块,欢迎批评指点。

李沐:目标要大。不管是人生目标还是目标函数,你最好不要知道最后可以走到哪里。如果你知道,那么你的目标就太简单了,可能是个凸函数。你可以在一开始的时候给自己一些小目标,例如期末考个80分,训练一个线性模型。但接下来得有更大的目标,财富自由也好,100亿参数的变形金刚也好,得足够一颗赛艇。

反向:目标要小而具体。如果目标过大,很容易导致因为噪声过大,奖励过于稀疏而发散[1]。收敛情况很好的,往往是图片分类这种目标非常明确而具体的。比如真实机器人面临的搜索空间很大的任务,很容易发散[2]。

李沐:坚持走。不管你的目标多复杂,随机梯度下降都是最简单的。每一次你找一个大概还行的方向(梯度),然后迈一步(下降)。两个核心要素是方向和步子的长短。但最重要的是你得一直走下去,能多走几步就多走几步。

反向:该放弃时就要放弃。一个简单也很有效的解决梯度策略发散的技巧就是抛弃过大的梯度[3]。如果遇到很大的梯度还不选择抛弃,很容易会导致发散的结果。另外一种解释是,很多场合训练几个epoch就能发现梯度越来越大,这时候一定要停下来检查数据,不然一晚上过后只能得到一个nan的结果。

李沐:痛苦的卷。每一步里你都在试图改变你自己或者你的模型参数。改变带来痛苦。但没有改变就没有进步。你过得很痛苦不代表在朝着目标走,因为你可能走反了。但过得很舒服那一定在原地踏步。需要时刻跟自己作对。

反向:拒绝内卷。优化有两种模式,一种很陡峭曲折的(比较艰难,对应内卷),一种是比较平滑的(比较轻松,对应佛系和不卷)。这里我引用一篇顶会论文中[4]的可视化结果,

2b0c80315c510506d9656ea3a80272ea.png
左边的(a)对应很内卷,优化曲面不平滑;右边的(b)对应很平滑的过程

那么究竟是(a)好呢,还是(b)好呢?想必大家已经猜到了,(b)这种优化模式要远远好于(a),错误率小两倍多(错误率:(b)5.89%,(a)13.31%)。因此,大家一定要学会拒绝内卷,保护自己平滑的优化过程。

李沐: 四处看看。每一步走的方向是你对世界的认识。如果你探索的世界不怎么变化,那么要么你的目标太简单,要么你困在你的舒适区了。随机梯度下降的第一个词是随机,就是你需要四处走走,看过很多地方,做些错误的决定,这样你可以在前期迈过一些不是很好的舒适区。

反向:别走太远。正则化是深度学习乃至机器学习中非常常见的技巧,要想取得好的收敛效果,往往需要加以约束,不能走得太远[3]。

李沐: 赢在起点。起点当然重要。如果你在终点附近起步,可以少走很多路。而且终点附近的路都比较平,走着舒服。当你发现别人不如你的时候,看看自己站在哪里。可能你就是运气很好,赢在了起跑线。如果你跟别人在同一起跑线,不见得你能做更好。

反向:起点不重要。Facebook的一篇论文[5]用大量实验事实证明,接受预训练的模型,虽然一开始会好一些,但是后面跟随机初始化的模型相差无几。有实验结果图为证:

4612b9159ddf4cef1d8f67e53411ad91.png
李沐: 很远也能到达。如果你是在随机起点,那么做好准备前面的路会非常不平坦。越远离终点,越人迹罕见。四处都是悬崖。但随机梯度下降告诉我们,不管起点在哪里,最后得到的解都差不多。当然这个前提是你得一直按照梯度的方向走下去。如果中间梯度炸掉了,那么你随机一个起点,调整步子节奏,重新来。

反向:太远就到不了了。如果间隔时间太长,奖励函数的折损会非常严重,这会严重影响强化学习的成功率。这也是为什么现在强化学习仍然只是在模拟器中成功。

a71c1000d9225b4b6a90c2b6569149f3.png

李沐:简单最好。当然有比随机梯度下降更复杂的算法。他们想每一步看想更远更准,想步子迈最大。但如果你的目标很复杂,简单的随机梯度下降反而效果最好。深度学习里大家都用它。关注当前,每次抬头瞄一眼世界,快速做个决定,然后迈一小步。小步快跑。只要你有目标,不要停,就能到达。

反向:越结构化的模型越好。文献显示[6],拓扑结构复杂的模型,在同样的梯度下降算法之后会产生更小的泛化误差。而过于简单的模型,往往会容易收敛到平凡解。

3c1fca7dd749c789068f6d9145b53571.png
拓扑参数更复杂的模型,泛化能力更强

有些点没讲到,是因为找不到特别好的文献,或者读起来没那么有趣。

如果要我说,人生反正不是监督学习,更像是强化学习甚至无监督学习。

当然,也可能人生就是随机挑战。

参考

  1. Hare, Joshua. "Dealing with sparse rewards in reinforcement learning." arXiv preprint arXiv:1910.09281 (2019).

  2. Peters, Jan, and Stefan Schaal. "Policy gradient methods for robotics." 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2006.

  3. Schulman, John, et al. "Proximal policy optimization algorithms." arXiv preprint arXiv:1707.06347 (2017).

  4. Li, Hao, et al. "Visualizing the loss landscape of neural nets." arXiv preprint arXiv:1712.09913 (2017).

  5. He, Kaiming, Ross Girshick, and Piotr Dollár. "Rethinking imagenet pre-training." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019.

  6. Corneanu, Ciprian A., Sergio Escalera, and Aleix M. Martinez. "Computing the testing error without a testing set." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.

觉得还不错就给我一个小小的鼓励吧!
避开这些坑!医疗影像数据增强的6个安全操作指南(附PyTorch代码) 本文详细介绍了医疗影像数据增强的六大安全准则,包括解剖结构守恒、密度值物理意义保留和病灶特征保护等关键原则,并提供了PyTorch实战代码。通过具体案例和参数建议,帮助开发者在肺结节检测和MRI分割等医疗AI应用中实现安全有效的数据增强,避免因不当操作导致的诊断误差。 阅读详情

相关推荐

10X Genomics数据实战:手把手教你用Seurat处理单细胞PBMC数据(附完整代码)

本文详细介绍了如何使用Seurat处理10X Genomics的单细胞PBMC数据,从数据获取、质控到降维分析和细胞分群的全流程。通过实战代码演示,帮助研究者掌握单细胞RNA测序数据分析的核心技术,提升对细胞异质性的理解。

weixin_29053577的博客 257

随机梯度下降算法—年轻人篇

所走出的每一步,你都在试图与以前的自己作斗争,尝试去走出舒适圈,改变自己。不管是山顶的人对于下山的目标,还是你的人生目标。因为你清楚自己的方向,向着方向前进,你自己会得到不断地提高,这就够了。目标点的距离,他跨出一步。但你每走的一步都是你对世界的认知,对世界的探索。哪怕走不通,哪怕你走错了,你也可以立刻换一条,从头来过。相较于那些未来已经笃定去干什么的人,你更能舒适圈以外的生活,无论经历怎样的坎坷,你都能记得方向,往目标靠近。在随机梯度下降算法中,每走一步,参数就会进行相应的迭代更新,变得更加靠近目标。

m0_73185787的博客 600

Autodock分子对接实战:从受体准备到结果分析的完整指南

本文提供了一份详尽的AutoDock分子对接实战指南,涵盖从受体蛋白准备、小分子配体优化、对接口袋定义到运行AutoDock Vina及结果分析的全流程。文章重点解析了如何利用开源免费的AutoDock工具,高效完成蛋白-小分子相互作用的模拟预测,并分享了关键的参数设置与可视化分析技巧,旨在帮助生物信息学与药物研发人员快速上手并获取可靠结果。

weixin_29260291的博客 499

李沐:用随机梯度下降来优化人生

作者:李沐知乎:https://zhuanlan.zhihu.com/p/414009313最近在知乎上看到一篇李沐老师写的很有深度的文章,分享给大家~要有目标。你需要有目标。短的也好,长的也好。认真定下的也好,别人那里捡的也好。就跟随机梯度下降需要有个目标函数一样。目标要大。不管是人生目标还是目标函数,你最好不要知道最后可以走到哪里。如果你知道,那么你的目标就太简单了,可能是个凸函数。你可以在一...

zenRRan的博客 237

Conformal LEC逻辑等价性检查介绍和参考脚本

分为三个产品:Conformal L、Conformal XL、Conformal GXL。L是功能性检查,XL支持复杂数据通路的综合和APR优化,GXL支持定制的stdcell和定制memory的检查。Cadence Conformal Equivalence Checker,就是常说的LEC,可以用来验证RTL、门级网表、甚至spice网表的逻辑等价性。do文件是conformal的脚本文件,可以由综合工具(RTL Compiler/Genus)自己产生(write_do_lec),也可以手写。

NanDigits的博客 7260

oracle ebs form 10g安装教程

这个窗口需要想想,你要安装的类型,不要盲目点击“下一步”,因为一旦Oracle安装后,重新安装之前,需要卸载Oracle干净才能重新安装,有时还会出现错误。到了该窗口后,需要耐心等待安装,安装到一大半后,自动弹出一个窗口,让我们选择Oracle安装第2部分磁盘的路径,继续安装,然后坐等安装结束。自定义安装Oracle根目录,点击“下一步”按钮后,耐心等待几秒钟,工具自动加载产品列表,加载完后,自动跳转到“选择安装类型”窗口。注:等待几秒钟后,关闭dos窗口,不必惊慌,自动调转到安装界面。

XIELIUHAI001的博客 476

李沐文章引热议!用随机梯度下降优化人生最优解是啥?

随机梯度下降好是好,奈何我算力不够啊。 众所周知,梯度下降法(Gradient descent)是神经网络最常用的一阶优化算法。 使用梯度下降法找到一个函数的局部极小值,需要向函数上当前点对应梯度的反方向的规定步长距离点进行迭代搜索。 不过今天说的倒不是深度学习里的梯度下降,而是亚马逊首席科学家李沐的「用随机梯度下降来优化人生」。 在文中,李沐列举了十一种方法,告诉大家如何利用「梯度下降」来优化自己的人生。 要有目标 目标要大 坚持走 痛苦的卷 可以躺平 四处看看 快也是慢 赢在起.

m0_46163918的博客 3299

PCL 直通滤波器【2026最新版】

PCL直通滤波器函数详解以及用于多字段滤波、强度滤波、获取某一时间范围内的点等高阶用法案例分享。博客长期更新,本文最近一次更新时间为:2026年3月11日。

点云侠的博客 40万+

【李沐的想法】随机梯度下降优化人生——从目标到实现的策略最大化

其基本关联可通过以下“人生优化”公式体现:人生进步目标设定t1∑T​步长t​⋅梯度方向t​具体来说::人生进步目标设定∑t1T​步长t​⋅梯度方向t​::#随机梯度下降#人生优化#目标设定#步长#梯度方向#人生策略。

神经美学_茂森的博客 1405

WPS访问权限不足怎么解决??具体怎么操作?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值。

**My Coding Family** 4176

基于ENVI完成影像的去云操作以及后续处理

利用ENVI完成重采样影像的去云操作 由于SNAP重采样之后的影像是分波段保存的,ENVI的波段运算工具一次也只能输出一个波段,所以去云的操作分波段进行,原理是掩膜法 下面是打开所有波段后的界面 去云的依据是以quality_scene_classification栅格文件为基础,该文件是哨兵2数据自带的场景质量分类图,包含12个级别,可以通过SNAP软件查看,如下图所示: 对于去云操作而言,我们只需要DARK_FEATURE_SHADOW(地形等),CLOUD_SHADOW(云阴影)、CL

lemon_tttea的博客 2万+

反向传播与梯度下降详解

前向传播在神经网络定义的计算图中按顺序计算和存储中间变量,它的顺序是从输入层到输出层。反向传播按相反的顺序(从输出层到输入层)计算和存储神经网络的中间变量和参数的梯度。在训练神经网络时,在初始化模型参数后,我们交替使用前向传播和反向传播,基于反向传播计算得到的梯度,结合随机梯度下降优化算法(或者Adam等其他优化算法)来更新模型参数。深度学习模型训练比预测需要更多的内存。虽然随机梯度下降法(SGD)简单有效,但它需要仔细调整模型超参数,特别是优化中使用的学习率,以及模型参数的初始值。

1029

基于coze studio开源框架二次定制开发教程

CozeStudio是一站式AIAgent开发工具,支持大模型接入、智能体编排、工作流开发等功能。采用Golang+React技术栈,基于微服务架构设计。项目包含后端API、领域逻辑、前端应用等模块,支持自定义任务流节点开发。开发流程涵盖前后端节点定义、实现逻辑编写等步骤,提供完整的开发规范和参考文档。相比商业版,开源版本在功能上有所精简,但仍保留核心开发能力。

coding change your life 793

如何看待李沐老师提出的「用随机梯度下降来优化人生」?

来源:知乎电光幻影炼金术(上海交大计算机第一名)回答:看完李沐老师的文章,深受启发。本人阅读大量文献,提出了下面“反向利用随机梯度下降优化人生“的方案。下文与李沐老师的文章的原文(在引用...

weixin_40920183的博客 349

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

李沐:用随机梯度下降来优化人生!

大侠幸会,在下全网同名「算法金」0 基础转 AI 上岸,多个算法赛 Top「日更万日,让更多人享受智能乐趣」今天我们来聊聊达叔 6 大核心算法之 —— 优化 算法。梯度下降优化算法是机器学习和深度学习中最常用的优化算法之一。它通过不断调整模型参数,使得损失函数的值逐渐减小,从而使模型逐步逼近最优解梯度下降优化算法的优点梯度下降优化算法的缺点梯度下降算法的改进为了克服上述缺点,研究人员提出了多种改进算法,如动量法、Adagrad、Adam等。这些改进算法在加速收敛、避免局部最优等方面有显著效果。

算法金「全网同名」的博客 1472

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

【路在何方】在此收录对人生有启发的一些文章

如题。之前也看到过不少让我感到震撼,对我心灵冲击很大的文章,但是当时一直没有记录的习惯,导致现在想回顾时已经没有机会了。所以现在在此收录一些对我的人生有启发的文章,同样,也希望对读者们有类似的作用。 心中有梦,大路永远朝天。

the Blog of 等不到天亮丶等时光 608

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Pytorch深度学习实践笔记4(b站刘二大人)

Back propagation (BP),训练神经网络的目标是优化代价函数cost,使得cost找到以一个全局或者局部最优值。让cost尽可能的接近0,这样得到的weights和bias是最好的,由于需要不断的调整参数让cost收敛,cost在梯度的相反反向下降最快,所以提出了BP算法,就是来计算weights和bias的梯度(偏导数的,加速训练时的收敛速度,避免无效的训练。

发狂的小花的博客 1306

Pytorch深度学习实践笔记3(b站刘二大人)

mini-batch GD采取了一个折中的方法,每次选取一定数目(mini-batch)的样本组成一个小批量样本,然后用这个小批量来更新梯度,这样不仅可以减少计算成本,还可以提高算法稳定性。

发狂的小花的博客 1716

过拟合 准确率大幅下降_梯度下降背后的数学和直觉

学习任何新概念,首先理解了Intuition无疑是事半功倍的事情。The Math and Intuition Behind Gradient Descent by Suraj Bansalhttps://medium.com/datadriveninvestor/the-math-and-intuition-behind-gradient-descent-13c45f367a11敏捷软件开发定...

weixin_39833270的博客 284

梯度下降

神经网络训练细节系列笔记: 神经网络训练细节(激活函数) 神经网络训练细节(数据预处理、权重初始化) 神经网络训练细节(Batch Normalization) 神经网络训练细节(训练过程,超参数优化) 通过学习,我们知道,因为训练神经网络有个过程: <1>Sample 获得一批数据; <2>Forward 通过计算图...

如果世界之光有颜色,那么一定是橙色 247

收藏!大模型新人必看:2个建议助你快速入行,告别焦虑

先搞定两到三个完整的项目作为敲门砖,然后立刻投入市场的洪流中,用真实的面试来反向打磨你的知识体系。不要等到万事俱备,行动,是治愈焦虑的唯一解药。哪怕是 SOTA 模型,也必须走出构想的温室,投身于海量数据的炼丹炉,在无数次 Loss 震荡中收敛。同样,人生也没有预训练好的版本,我们都是随机初始化的参数。只要你不迈出那一步,你的 Loss 就永远悬停在高位,没有任何梯度能指引你下降。2026,与其坐而论道,不如起而行之。

ytt0523_com的博客 317

绕不过的BP算法,从这里开始!

绕不过的BP算法,从这里开始! 原文链接:https://aistudio.baidu.com/aistudio/projectdetail/2411797 其实对于每个机器学习和深度学习的初学者来说,都绕不开一个算法,那就是bp算法。我参考了张玉宏-《深度学习之美》这本书并编写这篇推文,本文主要是对BP算法的代码实现和详细的批注,希望对你学习有所帮助。阅读之前可以看一下这篇文章学习下基本原理——BP算法双向传,链式求导最缠绵,个人认为已经讲的非常详细易懂了。 再一个推荐一篇文章,或许对你的AI学习生涯

weixin_43267897的博客 604

【每天一个AI小知识】:什么是梯度下降?

摘要:梯度下降是一种通过局部信息寻找最优解的优化算法,核心思想如同盲人登山者通过探路杖感知坡度找到下山路径。文章从数学原理到实际应用系统讲解了梯度下降:1. 基础概念:通过计算函数梯度(变化最快的方向)迭代更新参数;2. 关键要素:学习率选择、收敛判断和不同变体(批量/随机/小批量GD);3. 典型应用:线性回归、神经网络训练和推荐系统优化;4. 进阶发展:自适应优化器(如Adam)和分布式训练技术。文章最后升华到哲学层面,指出梯度下降启示我们在不确定中持续改进的人生智慧。配套代码实现了基础GD和不同优化算

码道源码 1546

TensorFlow2教程

TensorFlow2教程(目录) 第一篇 基本操作# 01 Tensor数据类型 02 创建Tensor 03 Tensor索引和切片 04 维度变换 05 Broadcasting 06 数学运算 07 前向传播(张量)- 实战 第二篇 高级操作# 08 合并与分割 09 数据统计 10 张量排序 11 填充与复制 12 张量限幅 13 高阶操作 第三篇 神经网络与全连接层# 14 数据加载 15 测试(张量)- 实战 16 全连接层 17 输出方式 18 误差

smartvxworks的博客 544
上一篇: JupyterLab 出 Windows 桌面版了!
下一篇: 2021入坑NLP?我劝你冷静一下
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值