神经网络

最新推荐文章于 2025-12-18 20:56:42 发布
原创 最新推荐文章于 2025-12-18 20:56:42 发布 · 225 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络

本文深入探讨深度神经网络(DNN)的结构与工作原理，包括前向传播、反向传播算法，损失函数与激活函数的选择，以及正则化技术如L1、L2正则、Dropout等。解析如何通过合理选择避免梯度消失问题，提升模型性能。

1. 深度神经网络（DNN）模型与前向传播算法

1.1网络结构

在这里插入图片描述

1.2参数定义

在这里插入图片描述

1.3 前向传播算法

在这里插入图片描述

2. 深度神经网络（DNN）反向传播算法(BP)

2.1 DNN反向传播要解决的问题

在这里插入图片描述

在这里插入图片描述

2.2 DNN反向传播算法

梯度逐层向前传播
在这里插入图片描述

  1. 深度神经网络（DNN）损失函数和激活函数的选择
    在这里插入图片描述
    Sigmoid激活函数+MSE损失函数会梯度消失，使用交叉熵损失可以解决这个问题
    或者使用ReLU函数
  2. 深度神经网络（DNN）的正则化
    1. L1、L2正则，dropout,Early Stopping、数据增强的方法、Bagging
    2. Normalization方法：Batch Normalization, Layer Normalization, Instance Normalization, Group Normalization
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
盼小辉丶的博客
01-02 13万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 8万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
神经网络学习
Daybreak's blog
07-17 3855
神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点，目前已广泛应用于多个领域。...
卷积神经网络
WaitFoF
05-18 5091
1. 引言 1962 年，加拿大神经科学家Hubel 和 Wiesel通过研究猫的视觉神经，首次提出神经元感受野这一概念。 20 世纪 80年代，日本科学家 Kunihiko Fukushima在论文中介绍了神经认知网络模型，该模型可以看作是卷积神经网络的初期结构。 20 世纪 90 年代，Yann LeCun 等人提出 LeNet 模型，并成功应用于美国的邮政系统，用来识别手写邮政编码，首次实现了卷积神经网络的商业应用。 2012 年，Geoffrey E. Hinton 等人提出 AlexNet，该模
卷积神经网络（CNN）详解
zdx2585503940的博客
04-19 7732
卷积神经网络是多层感知机 (MLP)的变种，由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来，视觉皮层的细胞存在一个复杂的构造，这些细胞对视觉输入空间的子区域非常敏感，称之为感受野。CNN由纽约大学的Yann Lecun（杨立昆）于1998年提出(LeNet-5)，其本质是一个多层感知机，成功的原因在于其所采用的局部连接和权值共享的方式：一方面减少了权值的数量使得网络易于优化；另一方面降低了模型的复杂度、减小了过拟合 的风险。当网络的输入为图像时，这些优点将表现地更加明显。2006年，
神经网络极简入门
2301_82270544的博客
06-17 3332
本文中的的神经网络示例是为了介绍神经网络的一些基本概念，所以对神经网络做了尽可能的简化，为了方便去手工实现。而实际环境中的神经网络，不仅神经元的个数，隐藏层的数量极其庞大，而且其计算和训练的方式也很复杂，手工去实现不太可能，一般会借助TensorFlowKeras和PyTorch等等知名的python深度学习库来帮助我们实现。
人工神经网络
leigm
04-30 1万+
一、人工神经网络的概念 人工神经网络（Artificial Neural Network，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性
BP神经网络通俗教程（matlab实现方法）
tangbiubiu的博客
09-05 6万+
BP神经网络通俗教程（matlab实现方法） 黑色字体可看可不看，是帮助理解所用 红色字体是比较重要的部分，必看 BP神经网络是什么 BP（Back-propagation，反向传播）神经网络是最传统的神经网络。当下的各种神经网络的模型都可以看做是BP神经网络的变种（虽然变动很大…）。 这东西是干什么用的呢？ 我们在现实中要处理的一切问题映射到数学上只分为两类，可归纳的问题与不可归纳的问题。首先什么是不可归纳的问题，举个例子，你不能用一套完美的数学公式去表达所有的质数 ， 因为目前的研究表明，还没有什么方法
BP神经网络
buxiangspeaking的博客
03-28 3万+
BP(Back Propagation) 算法是神经网络深度学习中最重要的算法之一，了解BP算法可以让我们更理解神经网络深度学习模型训练的本质，属于内功修行的部分。
神经网络 Neural Networks
草履虫建模的博客
05-13 4335
神经网络是一种模仿人脑神经元连接的数学模型，通过多层“神经元”组成的网络结构进行学习和预测。其核心思想包括前向传播和反向传播：前向传播用于计算输出，反向传播则通过调整权重使输出逼近目标。神经网络能够自动提取复杂特征，拟合高度非线性函数，适用于图像、语音、文本等多模态任务。训练目标是最小化损失函数（如交叉熵、均方误差），常用优化算法包括梯度下降及其变种（如Adam、RMSProp）。神经网络的优点在于其强大的表达能力，但缺点是需要大量数据和计算资源，调参复杂且模型不易解释。典型应用包括图像分类（卷积神经网络）
自适应神经网络架构：原理解析与代码示例
A.的博客
10-29 1万+
自适应神经网络架构
精选资源
Matlab神经网络43个案例分析
04-24
Matlab神经网络43个案例分析。 BP神经网络的数据 BP神经网络的非线 遗传算法优化BP神 神经网络遗传算法函 基于BP_Adaboost的 PID神经元网络解耦 RBF网络的回归--非 GRNN网络的预测--- 离散Hopfield神经网 离散...
精选资源
BP神经网络预测（python）
04-20
BP神经网络，全称为Backpropagation Neural Network，是一种在机器学习领域广泛应用的监督式学习算法。它基于反向传播机制，通过不断调整权重和偏置来优化网络性能，以达到预测或分类的目的。Python作为目前最流行的...
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
热门推荐
盼小辉丶的博客
05-28 9万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
【计算机视觉（16）】语义理解-训练神经网络1_激活_预处理_初始化_BN
hiliang521的博客
12-18 377
【计算机视觉（16）】语义理解-训练神经网络1_激活_预处理_初始化_BN
【神经网络】超参调优策略（二）：Batch Normalization批量归一化
师兄怎么办
12-18 473
Batch Normalization（批归一化）是一种通过规范化神经网络各层激活值分布来加速训练的技术。它通过对每个mini-batch数据进行标准化处理（均值为0、方差为1），并引入可学习的缩放平移参数γ和β，有效解决了深层网络中梯度消失/爆炸问题。该方法具有三大优势：大幅提升训练速度、降低对初始值的敏感性、抑制过拟合。实验表明，使用BatchNorm的网络在不同初始值下都能快速收敛，而未使用的网络在初始值不当时可能完全无法学习。文中还详细解释了方差计算（区分总体与样本方差）和标准化公式，并提供了基于M
【深度学习】Hidden vs Latent：神经网络与概率模型中两个“隐”的本质区别
Rabbit_QL的博客
12-17 486
摘要： 神经网络中的hidden与概率模型中的latent虽均译为“隐”，但本质不同。Hidden是确定性中间表示（如RNN的$h_t$），通过前向传播直接计算；而latent是未观测的随机变量（如VAE的$z$），需通过推断（如后验分布）估计。关键区别在于：hidden是函数计算的确定值，latent是概率建模的随机变量。混用源于中文翻译相同及模型交叉（如VAE同时包含两者），但数学地位截然不同。判断口诀：能直接计算为hidden，需推断分布为latent。
【计算机视觉（17）】语义理解-训练神经网络2_优化器_正则化_超参数
最新发布
hiliang521的博客
12-18 580
【计算机视觉（17）】语义理解-训练神经网络2_优化器_正则化_超参数
侯媛彬神经网络概论
"神经网络（侯媛彬）" 神经网络是一种机器学习算法，能够模拟人类大脑神经网络的工作方式，通过训练和学习来实现模式识别、分类、回归等功能。神经网络的应用非常广泛，包括图像识别、语音识别、自然语言处理、...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值