【图文解说】BP神经网络与深度学习CNN的关系

原创 已于 2024-06-23 08:27:12 修改 · 2k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #深度学习 #cnn

于 2024-06-23 08:25:22 首次发布

本文来自《老饼讲解-BP神经网络》https://www.bbbdata.com/

目录

BP神经网络是一个经典、有效的算法，即使时至今日，在传统的"小数据"领域仍有卓越的拟合效果。而BP神经网络的更大贡献是，它开启了后来的CNN\RNN等深度学习模型的大门。本文简单讲解BP神经网络是与深度学习CNN的关系。

一、BP神经网络网络是什么

BP神经网络模仿人的大脑，将输入层层前馈并激活，从而得到最终的输出，BP神经网络的拓扑结构如下：
BP神经网络模拓扑结构
BP更多用于数值拟合，这时最常用的是三层BP神经网络，三层的BP神经网络只要隐节点足够多就足以拟合任意曲线。
BP神经网络原理

二、BP神经网络用于图象识别问题

1.1.BP神经网络解决图象识别问题

由于BP神经网络可以拟合任意曲线，因此搭配softmax函数，进一步解决模式识别问题，包括图像的识别，例如“手写数字识别”。
手写数字识别问题
手写数字是28×28的黑白图片，将它展平后就是28×28=784的输入，再投入到三层BP神经网络中进行训练，最终用于预测图片属于0-9各个数字的概率。通过一个简单的训练，就可以得到97.6%的识别准确率：
在这里插入图片描述
详细代码与训练过程可参考：《BP神经网络识别手写数字》

1.2.BP神经网络解决图象识别问题的困难

在上述手写字识别的图象识别问题中，BP神经网络是毫无压力的，但如果企图用于更大的图片，会面临参数爆炸的问题。例如224×224=50176的图片，那么就有5W个输入，进一步地，网络的隐节点即使只有1W，也会有5亿个隐层权重，这将给求解带来极大的困难。
BP神经网络的参数灾难

三、从BP到CNN深度学习模型

由于BP神经网络在图片识别上有参数维度灾难，那么最简单的就是减少输入的个数就可以了！是的，直接把224×224的图片，压缩成24×24的图片不就可以了吗？！
CNN的思想
事实上，CNN就是这么做的，但它采用了更加智能的压缩方法–加入了卷积层与池化层来自动压缩图片。一个卷积层的示例如下，通过卷积核，可以将输入内容进行整合、压缩。
在这里插入图片描述
一个卷积神经网络CNN的基本结构如下：
CNN神经网络结构
CNN通过C(卷积层)与P(池化层)，逐步将图片进行压缩，使得图片的Size缩小，小到一定程度时，再投入三层的BP神经网络中(F6,F7)中拟合输出就可以了。
备注：由于卷积层是稀疏连接，BP则是全连接，所以CNN中一般以F(Full Connect)层来指代BP。
使用pytorch实现一个卷积神经网络，用于数字识别，简简单单就能得到99.8%的准确率，可见CNN的效果要比BP要好得多。
在这里插入图片描述
从上可以看到，随着卷积与池化的加入，网络的层数就加深了，在后来，层数越来越深，也就有了深度学习一说。

相关链接：

《老饼讲解-机器学习》：老饼讲解-机器学习教程-通俗易懂
《老饼讲解-神经网络》：老饼讲解-matlab神经网络-通俗易懂
《老饼讲解-神经网络》：老饼讲解-深度学习-通俗易懂

【人工智能】图文详解深度学习中的卷积神经网络（CNN）
AI天才研究院
04-05 2万+
卷积神经网络是一种常用的深度学习模型，广泛用于图像识别、语音识别、自然语言处理等领域。它的核心思想是通过一系列卷积、池化等操作，提取出输入数据的特征，并通过全连接层等操作进行分类或回归等任务。
BP神经网络和CNN公式推导
Pbw_666的博客
04-18 930
CNN理论基础 CNN基本结构 图一 CNN基本结构 CNN卷积神经网络的构成，主要由输入层，卷积层，池化层，全连接层，输出层等。 （1）输入层：计算机将输入层理解为若干矩阵。在数据输入前，通常需要进行预处理操作，1.是为了防止输入数据单位不一样，网络收敛较慢。2.如果所选的激活函数有值域限制，必须将网络训练的目标数据映射到激活函数值域。 进行数据预处理的方式 1.去均值（将输入数据的各个维度中心化到0） 将数据的每一维特征都减去平均值。在numpy 中 X -= np.mean(X, axis = 0)
BP神经网络：从理论到实践的完整实现指南
最新发布
weixin_42360846的博客
06-04 1041
BP神经网络（Back Propagation Neural Network）是一种多层前馈神经网络，通过反向传播算法进行训练，主要用于解决分类和回归问题。BP神经网络由输入层、隐藏层（一个或多个）和输出层构成，每一层都由若干个神经元组成。
BP神经网络与卷积神经网络（CNN）
热门推荐
s6977880的专栏
10-04 3万+
神经网络 卷积神经网络 CNN 反向传播 BP
深度学习：MLP，BP，CNN，GAN
燕双嘤
12-15 1万+
卷积：用一个固定大小的矩形区去席卷原始数据，将原始数据分成一个个和卷积核大小相同的小块，然后将这些小块和卷积核相乘输出一个卷积值。这种局部计算的方式使得卷积能够捕捉到输入图像的局部特征，例如边缘、纹理和形状等。
一文讲清神经网络、BP神经网络、深度学习的关系
ywj_1991的博客
01-27 1万+
一文讲清神经网络、BP神经网络、深度学习的关系
bp神经网络和cnn神经网络,bp神经网络和神经网络
神经网络爱好者
09-07 1651
BP算法的基本思想是：学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。经反复学习，最终使误差减小到可接受的范围。具体步骤如下：1、从训练集中取出某一样本，把信息输入网络中。2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。3、计算网络实际输出与期望输出的误差。
神经网络与深度学习的相关图文代码
07-28
神经网络与深度学习的相关图文代码
一文带你了解【深度学习】中CNN、RNN、LSTM、DBN等神经网络（图文解释 包括各种激活函数）
showswoller的博客
12-05 4135
一文带你了解【深度学习】中CNN、RNN、LSTM、DBN等神经网络（图文解释 包括各种激活函数）
BP神经网络时间序列预测-BP时序预测-MATLAB源代码-附带使用教程及注意事项
10-02
BP神经网络是一种前向人工神经网络，适用于各种任务，在时间序列预测中，BP神经网络可以通过学习数据的历史模式来预测未来的数值。一般情况下，BP神经网络的输入层接受时间序列的历史数据作为输入，输出层给出对未来...
bp神经网络详解 图文
徐亦快的踩坑记录
03-08 2115
@徐亦快 bp神经网络详解 首先，要学会它，我们要先在战略上鄙视它。 它到底是个什么东西呢。 先抽出来看看它。 我们说它的自变量是权重w，在通过一系列的操作后，一个合适的w能让输出o与实际相对接近。 x - f(w) - o 将o与实际T的差距称为E。 也就是说，E为一个自变量为x的函数，随着w的变化不断变化。 说到这里，你便能知道bp就是那个如何找到较优解w，使得E最小的算法。 从...
《Neural Network and Deep Learning》学习笔记1-深入理解神经网络与BP算法
09-01
《Neural Network and Deep Learning》学习笔记1-深入理解神经网络与BP算法
神经网络学说的主要观点,对神经网络的简单理解
shirley67269的博客
08-10 1543
生物神经网络主要是指人脑的神经网络，它是人工神经网络的技术原型。人脑是人类思维的物质基础，思维的功能定位在大脑皮层，后者含有大约1011个神经元，每个神经元又通过神经突触与大约103个其它神经元相连，形成一个高度复杂高度灵活的动态网络。作为一门学科，生物神经网络主要研究人脑神经网络的结构、功能及其工作机制，意在探索人脑思维和智能活动的规律。...
传统BP vs CNN
谢军的博客
12-01 3847
传统BP vs CNN
深度学习—BP神经网络
qq_59332194的博客
08-08 3420
BP神经网络原理推导
bp神经网络_深度学习-bp神经网络
weixin_39883194的博客
11-28 894
BP神经网络1 前向传播BP神经网络的结构如图所示参数的定义如下：（1）：表示网络层数（2）：表示第层，是输入层，是输出层，其他为隐含层（3）：表示第层第个单元与第层第个单元的连接权重（4）：表示第层第个单元的偏置值（激活阈值）（5）：表示第层第个单元的权重累计（6）：表示第层第个单元的激活值（7）：表示最后的输出值（8）：表示第层的神经元个数（9）样本个数为，特征个数为多层感知机中，输入信号通过...
深度学习之BP神经网络
zhangshaozhong__的博客
08-21 8484
算法是神经网络深度学习中最重要的算法之一，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络模型之一。基本结构如图：其主要包含三部分（由左到右）1：输入层：输入数据2：隐含层：输入与输出之间的数据分析加工厂，通过各种参数（权重，偏差值）以及激活函数等其他数据处理方法与两边建立联系。3：输出层：输出结果但是仅仅根据图示进行一次显然无法保证结果的准确，所以接下来涉及两个重要概念：1：正向传播。
BP神经网络（深度学习入门）
buxiangspeaking的博客
05-12 3458
BP(Back Propagation) 算法是神经网络深度学习中最重要的算法之一，了解BP算法可以让我们更理解神经网络深度学习模型训练的本质，属于内功修行的部分。 BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络模型之一 。Minsky和Papert在颇具影响力的"perceptron" 一书中指出，简单的感知器只能求解线性问题，能够求解非线性问题的网络应该
BPNN和CNN的关系
weixin_44943389的博客
05-31 532
CNN是一种特殊类型的神经网络，主要用于处理和分析具有网格结构数据的任务，例如图像和视频。CNN引入了卷积层和池化层的概念，以有效地捕捉图像中的局部特征，并减少网络参数的数量。CNN可以看作是BPNN的一种特殊形式，其中卷积层和池化层的引入使得网络能够更好地处理图像和其他网格结构数据。反向传播算法仍然用于训练CNN，但由于CNN的特殊结构，它在图像处理和计算机视觉任务中表现出色。因此，可以说CNN是BPNN的一种变体，专门针对处理图像和类似数据的任务进行了优化。
头歌图文作业BP神经网络模型
03-29
### 关于BP神经网络的图文作业与学习资料 BP神经网络是一种经典的监督学习算法，广泛应用于模式识别、分类预测等领域。其核心思想是通过误差反向传播调整权重参数，从而优化模型性能[^1]。 #### BP神经网络的核心概念 BP神经网络主要由输入层、隐藏层和输出层组成。每一层中的节点都与其他层相连，并通过激活函数传递信号。在训练过程中，利用梯度下降法不断调整连接权值 \( w \)，使得实际输出尽可能接近目标输出[^3]。 以下是几个推荐的学习资源： --- #### 推荐学习资料 1. **《BP神经网络原理与实现》** 这是一篇详细介绍BP神经网络基本原理的文章，涵盖了理论基础以及其实现方法。适合初学者快速掌握BP神经网络的工作机制[^2]。 2. **《BP神经网络详解 图文版》** 提供了丰富的图表说明BP神经网络的结构及其工作流程，帮助读者更直观地理解前馈过程和误差反向传播的过程。 3. **在线课程：老饼系列教程** 老饼制作了一系列关于BP神经网络的教学视频，包括但不限于LVQ、RBF等相关主题。这些内容不仅深入浅出，还提供了大量实践案例。 4. **头歌教育平台上的练习项目** 头歌平台上有关于BP神经网络的实际编程作业，通常会涉及以下几个方面： - 使用Python编写简单的BP神经网络； - 实践基于MNIST手写数字数据集的分类任务； - 应用TensorFlow或PyTorch框架完成复杂场景下的建模。 下面提供一段简单的BP神经网络代码示例，用于演示如何构建并训练一个两层全连接网络： ```python import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) class NeuralNetwork: def __init__(self, input_size, hidden_size, output_size): self.W1 = np.random.randn(input_size, hidden_size) self.b1 = np.zeros(hidden_size) self.W2 = np.random.randn(hidden_size, output_size) self.b2 = np.zeros(output_size) def forward(self, X): self.z1 = np.dot(X, self.W1) + self.b1 self.a1 = sigmoid(self.z1) self.z2 = np.dot(self.a1, self.W2) + self.b2 y_pred = sigmoid(self.z2) return y_pred def backward(self, X, y, learning_rate=0.1): m = X.shape[0] delta2 = (y_pred - y) * y_pred * (1 - y_pred) dW2 = np.dot(self.a1.T, delta2) / m db2 = np.sum(delta2, axis=0) / m delta1 = np.dot(delta2, self.W2.T) * self.a1 * (1 - self.a1) dW1 = np.dot(X.T, delta1) / m db1 = np.sum(delta1, axis=0) / m # 更新参数 self.W2 -= learning_rate * dW2 self.b2 -= learning_rate * db2 self.W1 -= learning_rate * dW1 self.b1 -= learning_rate * db1 # 测试代码 X_train = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]) y_train = np.array([0, 1, 1, 0]) nn = NeuralNetwork(2, 2, 1) for i in range(10000): y_pred = nn.forward(X_train) loss = np.mean((y_pred - y_train)**2) if i % 1000 == 0: print(f"Iteration {i}, Loss: {loss}") nn.backward(X_train, y_train) ``` 上述代码展示了如何定义一个具有两个隐含层单元的小型BP神经网络，并对其进行训练以解决异或问题[XOR]^[]。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老饼讲解-BP神经网络

请老饼喝杯咖啡

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值