L1神经网络与深度学习-2.9&2.10logistic回归中的梯度下降法

原创已于 2025-10-16 15:34:11 修改 · 554 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #神经网络 #回归

于 2025-10-16 15:32:05 首次发布

吴恩达深度学习课程笔记专栏收录该内容

11 篇文章

订阅专栏

(超爽中英!) 2024公认最好的【吴恩达深度学习】教程！附课件代码 Professionalization of Deep Learning

单个变量

用a表示y帽，因为代码中没法打出 y帽这个符号

这是计算导数的完整过程，注意da/dz这个导数，要记得sigmod函数的原型
计算出来最终值对某一个变量的导数后，根据之前讲过的迭代方法，设置学习率更新变量

m个样本的梯度下降

成本函数J对w1求导数，就是各损失函数对w1导数的平均值

左边展示了如何编程实现求成本函数的导数
注意dw1等，使用了每个循环累加的策略，因此它代表总和，所以不需要上标i
之后进行更新，就完成了迭代
上图方法的缺点：

循环降低了代码运行效率，这里有两个循环。
循环1：样本从1到m；循环2：x,w是多维的，要循环计算每一行的值，才能得到向量
所以，需要使用矢量化技术！

自己的演草

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mcqly

关注关注

20
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

36、生成式分类器与判别式分类器及逻辑回归详解

sugar的博客

07-25

本文详细探讨了生成式分类器与判别式分类器的核心区别，重点分析了生成式分类器在拟合简便性、缺失特征处理、类别扩展能力和半监督学习中的优势。同时，深入解析了逻辑回归作为典型的判别式分类模型，涵盖其数学原理、优化算法（如随机梯度下降、感知机算法和迭代加权最小二乘法）、扩展应用（如多分类问题、特征工程和正则化）以及实际应用案例。文章还对比了不同优化算法的优缺点，并展望了逻辑回归未来的发展趋势，包括与其他模型的结合、优化算法改进和理论研究深入等方向。

【深度学习-吴恩达】L1-2 神经网络基础

u011315681的博客

07-28

310

【深度学习-吴恩达】L1-2 神经网络基础课程笔记

参与评论您还未登录，请先登录后发表或查看评论

吴恩达深度学习第二课笔记——改善深层神经网络：超参数调试、正则化以及优化

solejay

04-21

5205

文章目录第一周：深度学习的实践层面(Practical aspects of Deep Learning)1.1 训练，验证，测试集（Train / Dev / Test sets）1.2 偏差，方差（Bias /Variance）1.3 机器学习基础（Basic Recipe for Machine Learning）偏差高方差高同时减少方差和偏差1.4 正则化（Regularization）1...

深度学习 - 第二章 - 机器学习基础

杀鹌鹑的孺子

01-04

4752

深度学习 - 第二章 - 机器学习基础第二章机器学习基础2.1 各种常见算法图示2.2 监督学习、非监督学习、半监督学习、弱监督学习？2.3 监督学习有哪些步骤2.4 多实例学习？2.5 分类网络和回归的区别？2.6 什么是神经网络？2.7 理解局部最优与全局最优2.8 分类算法2.8.1 常用分类算法的优缺点？2.8.2 正确率能很好的评估分类算法吗？2.8.3 分类算法的评估方法？2.8.4...

深度学习知识点总结

qq_39223444的博客

04-02

2718

文章目录1.深度学习是什么2.基础知识2.1 为什么要使用神经网络2.2 为什么更深的网络好2.3 更多的数据是否有利于更深的神经网络？2.4 不平衡数据是否会摧毁神经网络？2.5 无监督降维提供的是帮助还是摧毁？2.6 批大小如何影响测试正确率？2.7 初始化如何影响训练?2.8 不同层的权重是否以不同的速度收敛？2.9 正则化如何影响权重？2.10 神经网络训练中的梯度消失与梯度爆炸2.11 Batchnorm原理2.12 损失函数Softmax函数交叉熵2.13 dropout的原理：2.14 L0

吴恩达DeepLearning 2023学习目录

女王の专属领地

01-05

1196

这个算法将帮助你的模型理解，在给出一系列的输入时，它应该把注意力放在什么地方。这种类型的模型已经被证明在时间数据上表现非常好，它有几个变体，包括 LSTM、GRU 和双向神经网络，本周的课程中也都包括这些内容。使用词向量表示和嵌入层，可以训练在各种行业中表现出色的循环神经网络。理解深度学习中的关键计算，使用它们搭建并训练深层神经网络，并应用在计算机视觉中。学习驱动神经网络兴起的主要技术趋势，了解现今深度学习在哪里应用、如何应用。学习如何用神经网络的思维模式提出机器学习问题、如何使用向量化加速你的模型。

吴恩达深度学习笔记（四）

Hermite Lee的博客

03-03

1363

卷积神经网络CNN

第二周：神经网络的编程基础(Basics of Neural Network programming)

厚积而薄发

01-20

544

第二周：神经网络的编程基础(Basics of Neural Network programming) 文章目录第二周：神经网络的编程基础(Basics of Neural Network programming)2.1 二分类(Binary Classification)2.2 逻辑回归(Logistic Regression)2.3 逻辑回归的代价函数（Logistic Regression Cost Function）2.4 梯度下降法（Gradient Descent）2.5 导数（Derivati

目标检测常用算法原理+实践精讲---学习笔记以及人脸检测相关问题总结

聪哥965

02-03

3317

文章目录1.传统目标检测方法1.1 Viola-Jones (人脸检测)1.2 HOG+SVM (行人检测、Opencv实现)1.3 DPM (物体检测)2.One stage2.1 Yolo体系变化2.2 YOLO网络结构是怎样的？2.3 YOLO的输入、输出、损失函数分别是什么？2.4 YOLO怎样预测？2.5 YOLOv3不使用Softmax对每个框进行分类的原因？2.6 YOLOv3的架构2.7 为什么SSD对小目标检测效果不好?3.Two stageFaster R-CNNFaster RCNN的

吴恩达：改善深层神经网络：超参数调试、正则化以及优化(Improving Deep Neural Networks:Hyperparameter tuning, Regularizatio)

Cachel Wood的博客

07-14

648

文章目录1.1 训练、开发、测试集1.2 偏差、方差1.3 机器学习基础1.4 正则化1.5 为什么正则化可以减少过拟合？1.6 dropout随机失活正则化1.7 理解dropout1.8 其他正则化方法1.9 归一化输入1.10 梯度消失和梯度爆炸1.11 神经网络的权重初始化1.12 梯度的数值逼近1.13 梯度检验1.14 关于梯度检验实现的注记2.1 mini-batch 梯度下降法2.2 理解mini-batch 梯度下降法2.3 指数加权平均2.4 理解指数加权平均2.5 指数加

目录-深度学习

qq_34356368的博客

08-27

576

1 引言 1.1 本书面向的作者 1.2 深度学习的历史趋势 1.2.1 神经网络的众多名称和命运变迁 1.2.2 与日俱增的数据量 1.2.3 与日俱增的模型规模 1.2.4 与日俱增的精度，复杂度和对现实世界的冲击一应用数学与机器学习基础 2 线性代数 2.1 标量，向量，矩阵和张量 2.2 矩阵和向量相乘 2.3 单位矩阵和逆矩阵 2.4 线性相关和生成子空间 ...

【文献阅读】DP-Site：一种基于双重深度学习的蛋白质-肽相互作用位点预测方法

weixin_42038527的博客

12-16

465

研究团队开发了一款名为DP-Site的AI工具，仅需分析蛋白质的氨基酸序列（“设计图”），就能精准锁定小分子药物的潜在“靶点”。DP-Site的核心创新在于其 “双专家会诊”模式。一位是“图像专家”，擅长分析序列的局部结构特征；另一位是“语义专家”，擅长理解序列的全局上下文信息。两者协同工作，使其预测综合性能（F1分数）达到0.661，超越此前所有方法。

【CNN与卷积神经网络（吴恩达）】卷积神经网络学习笔记

qq_62361050的博客

12-12

1023

池化层类似卷积运算，在这里举一个最大池化的例子，即在一个4x4的图像中采用一个2x2的核，这个《核》只是对对应区域进行取最大值计算，以步长为2进行移动计算，在每次计算中取区域中的最大值，这样就可以提取出图像中的最显著的特征。以下是对于三维卷积中一些尺寸数据的描述，和二维卷积相似，只不过在n x n后面新加了一个尺寸数据nc，这个nc即表示图像的通道数，剩余对于输出图像的尺寸的计算公式和二维卷积下的一模一样。这种卷积下的卷积核和二维卷积是一样的，只不过由于有三个图像矩阵，所以应该对应有三层卷积核，即。

基于深度学习的肾结石检测系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)

最新发布

ningfoshao8678的博客

12-16

679

本文介绍了基于YOLO目标检测算法开发的肾结石检测系统。该系统支持图片、视频、文件夹批量及摄像头实时检测，包含用户登录、多模型切换等功能。技术栈采用Python3.10、PyQt5和SQLite，对比了YOLOv5/v8/v11/v12四种模型性能，其中YOLO12n精度最高(mAP40.6%)，YOLO11n速度最快(56.1ms)。系统在17000张肾脏影像数据集上训练，mAP@0.5达90%，F1值0.86，能有效识别肾结石位置并显示置信度。

深度学习中 z-score 标准化理解

musk1212的博客

12-11

1130

摘要： z-score标准化是深度学习中关键的数据预处理方法，通过将数据转换为均值为0、标准差为1的分布，有效提升模型训练效率并消除特征量纲差异。其核心公式为z=(x-μ)/σ，适用于加速收敛、平衡多特征权重及异常值检测等场景。与Min-Max归一化相比，z-score对异常值更鲁棒，是神经网络训练的首选方法。需注意避免数据泄露问题（测试集必须使用训练集的μ和σ），并处理标准差为0的特殊情况。批量归一化(BatchNorm)是z-score的动态扩展版本。

深度学习理论与实战：反向传播、参数初始化与优化算法全解析

2501_92613722的博客

12-16

658

深度学习训练核心闭环：精准算梯度、合理初始化参数、高效更参数反向传播：链式求导为基，从损失反向回溯算梯度，附 Sigmoid 实例参数初始化：讲手动 / 经典方法，Module 初始化技巧与核心原则、选择优化算法：SGD 为基，动量法 / Adagrad/RMSProp/Adadelta/Adam 解析与对比核心总结：反向传播、初始化、优化算法要点及训练细节

RNN（循环神经网络）原理

weixin_45776000的博客

12-12

490

RNN的突破：引入"记忆"概念，让网络可以记住之前的信息来处理当前输入。无法建模时间依赖：比如语言中"我今天吃了__"的预测需要前面信息。无记忆性：每个输入独立处理，忽略序列中元素的时间/顺序关系。关键：所有时间步共享相同的权重参数 W, U, V。主要问题：梯度消失/爆炸，通过LSTM/GRU缓解。W: 隐藏状态权重 (h_t-1 → h_t)应用场景：NLP、时间序列、语音识别等序列任务。输入：序列 → 编码 → 解码 → 输出序列。U: 输入权重 (x_t → h_t)

基于深度学习的网络流量异常检测系统

XiaoMu_001的博客

12-11

986

本项目旨在构建一个基于深度学习的高效网络流量异常检测系统。系统采用 **B/S 架构**，前后端分离设计。后端基于 **Django** 框架，前端采用 **Vue 3** + **Element Plus**。核心检测引擎利用 **PyTorch** 构建深度学习模型（MLP 和 1D-CNN），能够对网络流量数据进行实时或离线分析，精准识别良性流量及多种类型的网络攻击（如 DoS, PortScan, Web Attack 等）

授权委托书识别技术：利用深度学习和NLP实现纸质文档的智能解析

智能图像识别

12-12

778

摘要：授权委托书识别技术利用深度学习和NLP实现纸质文档的智能解析，通过OCR和NER技术精准提取关键字段，准确率达98%以上。该系统具备批量处理、自适应学习、风险预警等功能，处理效率较人工提升数十倍，已广泛应用于政务、金融、法律等领域。该技术不仅大幅提升业务办理效率，还通过本地化部署确保数据安全，正推动多行业数字化转型，未来将与区块链等技术进一步融合，构建更完善的数字化授权解决方案。（149字）