深度学习学习笔记——C1W2-8——逻辑回归梯度下降公式推导过程

已于 2024-12-26 16:13:11 修改
阅读量209 收藏 4
点赞数 3
分类专栏： 机器学习、深度学习（ML/DL) 文章标签： 深度学习 学习 笔记
于 2024-12-26 11:59:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hpdlzu80100/article/details/144739924
版权

Reading: Derivation of DL/dz (Optional)阅读——逻辑回归梯度下降公式推导过程

Derivation of dL/dz​

If you're curious, you can find the derivation for dL/dz​=a−y in this Discourse post "Derivation of DL/dz"

Remember that you do not need to know calculus in order to complete this course or the other courses

最低0.47元/天 解锁文章
深度学习学习笔记——C1W2-6——逻辑回归梯度下降
预见未来to50的专栏
12-26 668
我必须承认，对于推导逻辑回归的梯度下降来说，使用计算图有点大材小用，但我想从这种方式开始解释，让你熟悉这些概念，这样当我们谈论完整的神经网络时，希望这能更有意义。然后，我们计算 Y_hat 或 A = Σ(Z)，这是计算图中的下一步，最后，我们计算 L，A * Y，我不会再次复制公式。但事实证明，DL DZ 可以被表达为 DL_DA 乘以 DA_DZ，而事实是 DA_DZ 等于 A*(1-A)，DL_DA 我们之前在这里已经计算过了，如果你拿这两个量，DL_DA 和 DA_DZ，只需要将它们相乘。
深度学习学习笔记——C1W2-12——逻辑回归梯度输出的向量化
预见未来to50的专栏
12-26 674
你可能还记得，对于梯度计算，我们所做的是计算第一个示例的dz1，即a1减去y1，然后dz2等于a2减去y2，以此类推，对所有M个训练示例都这样做。所以，db基本上是1除以m，求和从i等于1到m的所有dzi，所有的dz都在那个行向量中，所以在Python中，你要做的就是实现1除以m乘以np.sum(dz)。因此，导数计算的向量化实现就是这样，你使用这一行来实现db，使用这一行来实现dw，注意到没有遍历训练集的for循环，你现在可以计算出你想要的参数更新。现在你已经计算了所有这些值，对于所有的索引i都是如此。
深度学习学习笔记——C1W2-11——逻辑回归的向量化
预见未来to50的专栏
12-26 870
所以当你将对应不同训练示例的小写X们水平堆叠时，你得到了这个变量大写X，同样地，当你将这些小写的Z变量水平堆叠时，你得到这个变量大写Z。我们接下来想做的是找到一种方法来计算A1, A2等直到AM，所有这些都在同时进行，正如将小写的X们水平堆叠得到大写X一样，将小写的Z们水平堆叠得到大写Z一样，将小写的A们水平堆叠将得到一个新的变量，我们将定义为大写A。这样第一个项将评估为W转置X1, W转置X2等，点乘，点乘，点乘，W转置XM，然后我们加上这个第二项B, B, B等，你最终会对每个元素加上B。
深度学习学习笔记——C1W2-7——多训练样本上的梯度下降
预见未来to50的专栏
12-26 491
你所关心的成本函数 w, b 是这个平均值，即 1/m 乘以从 i=1 到 m 的所有损失之和，其中算法输出 a_i 对应的示例 y，a_i 是第 i 个训练示例的预测值，等于 z_i 的 sigma（σ）函数，z_i 等于 w 转置乘以 x_i 加上 b。关于我们所做的事情的一些细节，我们正在使用 dw_1、dw_2 和 db 作为累加器，所以在这次计算之后，dw_1 等于你的整体成本函数相对于 w_1 的导数，同样适用于 dw_2 和 db。最后，这里的 J 也将是你的成本函数的正确值。
深度学习学习笔记——C1W2-10——更多向量化示例
预见未来to50的专栏
12-26 640
在我们的例子中，nx等于2，但如果你有超过2个特征，则需要对dw1, dw2, dw3等进行for-loop。假设你已经有一个向量v在内存中，并且你想要对这个向量v的每一个元素应用指数操作。注意到，与之前你有一个显式for-loop相比，这里只需一行代码，输入向量v，输出向量u，你去掉了这个显式for-loop，右侧的实现将会比需要显式for-loop的那个快得多。你会看到一个相当令人惊讶的结果，即不需要任何for-loop，也不需要对训练示例进行for-loop，你就可以写出处理整个训练集的代码。
深度学习学习笔记——C1W2-3——梯度下降
预见未来to50的专栏
12-24 557
右下方三角形的高度。在这里，对J（w）的这一点来说，导数是正的。当。
深度学习学习笔记——C1W2-2——逻辑回归及其成本函数
预见未来to50的专栏
12-24 527
给定一个输入特征向量X，可能对应于你想识别为猫图片或非猫图片的图像，你希望有一个算法能输出一个预测值，我们称之为Y hat，这是你对Y的估计。你想要它在0和1之间。所以这说的是，如果y等于1，你希望y hat尽可能大，但它永远不可能大于1。像这样，成本函数是你的参数的成本，所以在训练你的逻辑回归模型时，我们将尝试找到最小化整体成本函数J的参数W和B。理解为什么这是有道理的，让我们来看两种情况，第一种情况假设y等于1，那么损失函数中的y hat项就是第一个负数项，它是负的log(y hat)，如果y等于1。
深度学习学习笔记——C1W4-5——深度神经网络的基本组件
最新发布
预见未来to50的专栏
01-02 749
对于第L层，你有一些参数wl和bl，在前向传播过程中，你会输入上一层的激活值al-1，输出al。然后对于反向步骤或者说反向传播步骤，再次关注这一层L的计算，你要实现一个函数，输入da(l)，输出da(l-1)。具体来说，输入实际上是da(l)以及缓存，这样你就可以使用你计算出的zl值，另外，通过输出da(l-1)，你可以获得你需要的梯度，以便实施梯度下降进行学习，好吗？你将输入特征a0，进行输入，这将计算第一层的激活值，我们称之为a1，为此你需要w1和b1，然后你也会缓存z1，对吗？这就是前向传播步骤。
深度学习学习笔记——C1W3-9——神经网络的梯度下降
预见未来to50的专栏
12-31 906
你需要计算 DW1，这是代价函数对于参数 W1 的导数，你还可以计算另一个变量，称为 DB1，这是代价函数对于变量 B1 的导数，同样地，也适用于其他参数 W2 和 B2。G1' 是你对隐藏层使用的激活函数的导数，而对于输出层，假设你正在使用 sigmoid 函数进行二分类，则该函数已包含在 DZ2 的计算中。在这段视频中，我将直接给出你需要实现的方程，以便使反向传播或梯度下降有效运行，而在这段视频之后的下一段视频中，我将更多地直观解释为什么这些特定方程是计算你需要的神经网络梯度的准确和正确方程。
调试经验——Ryzen vs i7（AMD锐龙处理器与Intel i7处理器性能对比）
预见未来to50的专栏
01-25 2153
在运行深度学习案例时，无意发现Ryzen处理器性能要比i7高不少。 Ryzen:AMD Ryzen 5 4500U with Radeon Graphics, 2.38 GHz i7: 参考文章： 测试代码： 传统方法(classic): import time x1 = [9, 2, 5, 0, 0, 7, 5, 0, 0, 0, 9, 2, 5, 0, 0] x2 = [9, 2, 2, 9, 0, 9, 2, 5, 0, 0, 9, 2, 5, 0, 0] ### CLASSI...
大语言模型生成式AI学习笔记——2. 1.4LLM指令微调——多任务指令微调
预见未来to50的专栏
04-30 1218
然而，它的表现并不像人类生成的基线摘要那样好，后者包括了诸如Mike询问信息以便于办理入住等重要信息，而模型的完成还捏造了原始对话中未包含的信息。虽然FLAN-T5是一个表现良好且适用于多种任务的通用模型，但你可能会发现它在你的特定用例的任务中还有改进的空间。在接下来的视频中，你将了解几个指标和基准，你可以使用它们来确定你的模型表现如何，以及你的微调版本比原始基础模型好多少。在许多轮次的训练中，通过计算示例的损失来更新模型的权重，结果得到了一个指令调整后的模型，学会了同时擅长许多不同的任务。
吴恩达深度学习学习笔记——C3W2——机器学习策略2——练习题
预见未来to50的专栏
02-07 1218
C3W2 Quiz - Autonomous driving (case study) Ans: B Note: As discussed in lecture, applied ML is a highly iterative process. If you train a basic model and carry out error analysis (see what mistakes it makes) it will help point you in more p...
机器学习学习笔记——1.1.1.2.4 Unsupervised learning part 1（非监督学习——第1部分）
预见未来to50的专栏
09-14 1166
在无监督学习中，我们得到的是没有与任何输出标签y关联的数据，比如说你得到了关于病人和他们肿瘤大小的数据，以及病人的年龄。注意，“熊猫”这个词在这里、这里、这里、这里和这里出现，还要注意“双胞胎”这个词也在所有五篇文章中出现，“动物园”这个词也出现在所有这些文章中，所以聚类算法是在寻找当天互联网上成千上万篇新闻文章中提到的相似词汇的文章，并将它们分组到集群中。也许这就是你，那太好了，第二个组的主要动机是寻找发展职业的方法。我希望我能在你的旅程上帮助你，或者如果这是你，你想要的完全不同于其他三个类别的东西。
深度学习工程师能力模型
预见未来to50的专栏
02-23 1146
学习机器学习和深度已经有一段时间了，花费了不少精力和时间。那么，离实用阶段还有多远呢？先来看看以下深度学习工程师能力模型。 参考文章：https://www.cnblogs.com/wintersun/p/12900627.html 深度学习工程师能力评估标准主要面向软件相关行业的企业员工及社会人士，能力级别分为初级、中级、高级三个级别。深度学习工程师能力评估要素主要包括专业知识、工程能力、业务理解与实践共3大类、9小类。其中，专业知识包括编程基础、机器学习基础、神经网络基础、深度学习基础；工程能.
深度学习学习笔记——C1W2-13——Python中的广播机制
预见未来to50的专栏
12-26 1113
这种类型的广播适用于列向量和行向量，事实上我们在之前的视频中使用了一种类似的广播形式，当时我们把一个常数加到一个向量上，那个常数就是逻辑回归中的参数b。这只是广播的一种形式，如果你有一个(m,1)矩阵，这实际上是一个列向量，比如[1,2,3]，并且你对它进行加法、减法、乘法或除法操作与一个行号。可能是一个(1,1)矩阵。这里的这个命令是一个Python广播的例子，你取一个3x4的矩阵并将其除以一个1x4的矩阵。所以，你想做的计算实际上是将这个矩阵的每一列加起来，得到100克苹果、牛肉、鸡蛋和土豆的总热量。
吴恩达深度学习学习笔记——C5W1——循环序列模型（RNN）——练习题
预见未来to50的专栏
02-19 1101
C5W1 Quiz - Recurrent Neural Networks Ans: A Ans: A Ans: B、D 4. Ans: C Ans: D Ans: B Ans: D Ans: C Ans: A Ans: C 1. Suppose your training examples are sentences (sequences of words)....
大语言模型生成式AI学习笔记——1. 1.3 大语言模型及生成式AI项目生命周期简介——​​​​​​​生成式AI及LLM，LLM用例及任务
预见未来to50的专栏
04-19 1092
例如，你可以要求模型根据提示写一篇论文，总结对话，其中你提供对话作为提示的一部分，模型利用这些数据及其对自然语言的理解来生成摘要。现在，虽然生成式AI模型正在为多种模态创建，包括图像、视频、音频和语音，但在这门课程中，你将专注于大型语言模型及其在自然语言生成中的用途。提示被传递给模型，模型然后预测下一个单词，因为你的提示包含了一个问题，这个模型生成了一个答案。存储在模型参数中的语言理解是处理、推理并最终解决你给出的任务的过程，但同样真实的是，较小的模型也可以被微调以在特定的专注任务上表现良好。
大语言模型生成式AI学习笔记——1. 2.4LLM预训练和缩放法则——​​​​​​​缩放法则和计算优化模型
预见未来to50的专栏
04-26 1072
如果你固定你的计算预算，那么你用来提高模型性能的两个杠杆就是你的训练数据集的大小和模型中的参数数量。Chinchilla论文的一个重要结论是，对于给定的模型，最优的训练数据集大小大约是模型参数数量的20倍。Chinchilla论文暗示，许多像GPT-3这样的1000亿参数大型语言模型实际上可能是过度参数化的，意味着它们的参数超过了很好地理解语言所需的数量，也不是因为训练不足（undertrained）而需要更多训练数据。作者假设，如果训练在更大的数据集上，较小的模型可能能够达到与更大的模型相同的性能。
机器学习学习笔记——1.1.2.1.3 Vectorization part 2（向量化——第2部分）
预见未来to50的专栏
09-18 1061
也许如果你有16个特征，速度差异不会很大，但如果你有几万个特征，可能还有非常大的训练集，这种类型的向量化实现将在你的学习算法的运行时间上产生巨大的差异。这个可选的实验室介绍了相当多的NumPy新语法，所以当你阅读可选实验室时，请不要觉得你必须立即理解所有代码，但你可以保存这个笔记本，当你处理存储在NumPy数组中的数据时作为参考查看。让我们继续观看下一个视频。我记得我第一次了解向量化时，我在电脑上花了好几个小时，运行一个未经向量化版本的算法，看看它运行多久，然后运行一个向量化版本的代码，看它运行得有多快。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值