传统BP vs CNN

最新推荐文章于 2025-04-02 14:54:20 发布
最新推荐文章于 2025-04-02 14:54:20 发布
阅读量3.8k 收藏 13
点赞数 4
分类专栏： Deep Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hduxiejun/article/details/53427682
版权

传统BP vs CNN

存在2个问题

传统BP网络存在的问题：
1.权值太多，计算量太大
2.权值太多，需要大量样本进行训练

这里写图片描述

传统的BP来处理图像问题的话因为计算权值太多太大。

网络的建立要根据数据的大小来建立。
求解权值得过程类似于求解方程组的过程，有1亿个权值要多少个数据量要多少样本？
最好是权值得5-30倍。 一般说来数据量越大越好。

CNN的崛起

感受野

CNN的牛逼之处在于通过感受野和权值共享减小了神经网络需要训练的参数个数。
这里写图片描述

权值共享

这里写图片描述

权值是共享的：区域大小都是一样的，权值都是一样的

这里写图片描述

存在问题-解决方案

存在的问题：
1.边缘过度不平滑（重采样的方法来解决这个问题）
2.滤波器太单一（采集图片的一些特征，不同的滤波器采集不同的特征）

BP与CNN的联系总结
LLearx的博客
10-27 8489
传统全连接BP网络与CNN的一些总结与联系   本文的目的是： 1、 对刚学知识的温故知新； 2、 作为一个笔记作用； 3、 恳请对错误点或者不恰当点的指正。   下面开始扯皮。   网络前向传播略。 BP网络反馈过程： 证明过程略，主要是链式法则，网上一大堆证明。下面给出结论，各个符号的意义体会到其中道理即可。 （粗体是向量or矩阵，正常体是标量） 一个重要
bp神经网络和cnn神经网络,bp神经网络和神经网络
aifans_bert的博客
10-17 2466
一、计算方法不同1、前馈神经网络：一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。2、BP神经网络：是一种按照误差逆向传播算法训练的多层前馈神经网络。3、卷积神经网络：包含卷积计算且具有深度结构的前馈神经网络。二、用途不同1、前馈神经网络：主要应用包括感知器网络、BP网络和RBF网络。2、BP神经网络：（1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数；（2）模式识别：用一个待定的输出向量将它与输入向量联系起来；（3
BP神经网络与卷积神经网络（CNN）
热门推荐
s6977880的专栏
10-04 3万+
神经网络 卷积神经网络 CNN 反向传播 BP
史上最详细循环神经网络讲解（RNN/LSTM/GRU）
最新发布
cjneo的专栏
04-02 204
原文地址 https://zhuanlan.zhihu.com/p/123211148
机器学习——深度神经网络实践（FCN、CNN、BP）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
06-15 6473
本篇博客主要介绍深度神经网络（FNC、CNN、BP等）算法的概念与原理以及相关分析推导，比较了FCN与CNN的异同，推导了神经网络前向后向传播算法的优化迭代公式。并将将深度神经网络算法运用于解决实际问题（以人脸识别、手写体识别、图像分类为例）。另外，针对经典神经网络的不足，设计了全新深度神经网络算法，从多方面、多角度进行了优化（内附数据集与python代码）。...............
bp神经网络和cnn神经网络,bp神经网络和cnn
aifamao6的博客
08-29 3813
BP算法的基本思想是：学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。经反复学习，最终使误差减小到可接受的范围。具体步骤如下：1、从训练集中取出某一样本，把信息输入网络中。2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。3、计算网络实际输出与期望输出的误差。...
【图文解说】BP神经网络与深度学习CNN的关系
dbat
06-23 1961
BP神经网络是一个经典、有效的算法，即使时至今日，在传统的"小数据"领域仍有卓越的拟合效果。而BP神经网络的更大贡献是，它开启了后来的CNN\RNN等深度学习模型的大门。本文简单讲解BP神经网络是与深度学习CNN的关系。
bp神经网络和cnn神经网络,bp神经网络与cnn区别
Supermen333的博客
10-05 999
传统神经网络（这里作者主要指前向神经网络）中，采用的是back propagation的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。人工神经网络是生物神经网络在某种简化意义下的技术复现，作为一门学科，它的主要任务是根据生物神经网络的原理和实际应用的需要建造实用的人工神经网络模型，设计相应的学习算法，模拟人脑的某种智能活动，然后在技术上实现出来用以解决实际问题。
神经网络学说的主要观点,对神经网络的简单理解
shirley67269的博客
08-10 1512
生物神经网络主要是指人脑的神经网络，它是人工神经网络的技术原型。人脑是人类思维的物质基础，思维的功能定位在大脑皮层，后者含有大约1011个神经元，每个神经元又通过神经突触与大约103个其它神经元相连，形成一个高度复杂高度灵活的动态网络。作为一门学科，生物神经网络主要研究人脑神经网络的结构、功能及其工作机制，意在探索人脑思维和智能活动的规律。...
CNN的bp算法
12-19
50行代码实现cnn的bp算法，短小简洁，实测可用，特别适合了解bp算法原理
BP CNN RNN LSTM 技术分享
03-16
分享 BP CNN RNN LSTM 算法核心点： 反向传播算法的核心就是 梯度下降 + 链式法则求偏导 所谓神经网络的训练或者是学习，其主要目的在于通过学习算法得到神经网络解决指定问题所需的参数， 这里的参数包括各层神经元之间的连接权重以及偏置等
机器学习：MLP，BP，CNN，GAN
燕双嘤
12-15 1万+
卷积：用一个固定大小的矩形区去席卷原始数据，将原始数据分成一个个和卷积核大小相同的小块，然后将这些小块和卷积核相乘输出一个卷积值。这种局部计算的方式使得卷积能够捕捉到输入图像的局部特征，例如边缘、纹理和形状等。
Deep learning---------------Back propagation Algorithm（BP algorithm)
精锐小庄的专栏
12-02 1755
假设我们有一个固定样本集 ，它包含  个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 ，其代价函数为： 这是一个（二分之一的）方差代价函数。给定一个包含  个样例的数据集，我们可以定义整体代价函数为： 以上公式中的第一项  是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。 [注：通常权重衰减
对CNN各层的深入理解以及BP中的权重变化
吴祺育的技术记录
11-30 1056
继续温故，CNN篇。这次重新思考的是CNN中每层的作用，以及之前没有思考过的BP中梯度更新的过程。 CNN的结构 最典型的CNN的结构是由如若干个卷积层+池化层，再接若干个（一般一到两个）全连接层组成。 总的来说，这个最典型的CNN结构，终究是起到一个分类器的作用。 卷积层做不同特征提取，采样层负责选择相应的特征，全连接层负责分类。 卷积层 卷积运算这里就不讲了，这里讲一下filter。filt...
BP算法（CNN卷积神经网络）猫狗识别检测Python-博文
m0_65146002的博客
05-19 1158
BP算法，全称为反向传播算法（Backpropagation），是训练人工神经网络，尤其是多层感知机（MLP）的一种高效方法。在卷积神经网络（Convolutional Neural Network, CNN）中，BP算法同样发挥着核心作用，用于优化网络权重，从而提高模型在特定任务上的表现，例如图像分类任务，如猫狗识别项目。猫狗识别项目是一个典型的计算机视觉任务，旨在通过分析图像数据，自动区分图片中的动物是猫还是狗。
关于神经网络的正确说法,神经网络通俗的解释是
m0_54846070的博客
09-01 1260
神经网络的学习，也就是训练过程，指的是输入层神经元接收输入信息，传递给中间层神经元，最后传递到输出层神经元，由输出层输出信息处理结果的过程好文案。在这个过程中，神经网络通过不断调整网络的权值和阈值，达到学习、训练的目的，当网络输出的误差减少到可以接受的程度，或者预先设定的学习次数后，学习就可以停止了。其实百科介绍的很详细，如“人工神经网络是模拟人脑结构的思维功能，具有较强的自学习和联想功能，人工干预少，精度较高，对专家知识的利用也较少。...
BP网络与CNN反向传播推导过程，由具体到抽象的推导
lillllllll的专栏
06-01 739
BP网络的反向传播是CNN/DCNN的基础，只要明白了BP反向传播原理以及推导过程CNN便迎刃而解。因为BP网络的递推特点使得根据损失函数来推导权重W比较繁琐，很多博客都进行了详细推理。有的推导比较抽象但逻辑清晰、有的推导很具体但是不容易把握思路；如果把他们综合起来看理解就不困难，让你不但知其然还能够知其所以然。我在这里找了几个典型的博客，建议大家根据列出的顺序来看。本篇文章不是我做算法推导，而是收集几篇比较好（当然还有很多比较好的文章没有在这儿列出来）的博客让想学的朋友少走弯路。 一、BP反向传播推理：
时间序列预测BP\CNN
01-24
### 时间序列预测中的BP神经网络 BP（Back Propagation）神经网络是一种多层前馈人工神经网络，通过反向传播算法调整权重来最小化误差。对于时间序列预测而言，BP神经网络能够捕捉输入变量之间的复杂非线性关系。 尽管如此，传统BP神经网络存在一些局限性，比如容易陷入局部最优解以及收敛速度较慢等问题[^1]。为了克服这些缺点，在实际应用中通常会采用改进措施或与其他优化算法相结合的方式提升性能。例如，可以利用遗传算法(GA)对初始权值进行优化从而改善BP网络的学习效率和泛化能力[^2]。 #### BP神经网络的时间序列预测实现流程 以下是基于MATLAB平台的一个简单示例代码片段用于展示如何构建并训练一个基本的BP神经网络来进行温度数据预测： ```matlab % 加载样本数据集 load simple_dataset.mat; % 假设simple_dataset包含了历史气温记录作为训练集 % 创建三层BP神经网络结构 (输入层节点数=特征维度, 隐藏层数目可根据需求设定) net = fitnet([10]); % 设置训练参数 net.trainParam.epochs = 1000; net.divideParam.valRatio = 0; % 训练模型 [net,tr] = train(net,x_train,y_train); % 测试模型效果 y_pred = net(x_test); plot(y_test,'r'); hold on; plot(y_pred,'b'); legend('真实值','预测值') ``` 此段代码展示了创建、配置、训练及评估一个简单的BP神经网络的过程。需要注意的是，这里仅提供了一个非常基础的例子；针对具体应用场景可能还需要进一步调参以获得更好的表现。 --- ### 卷积神经网络(CNN)应用于时间序列预测 卷积神经网络最初被设计用来处理图像识别任务，但近年来也被广泛应用于一维信号如语音波形或是像股票价格这样的时间序列分析当中。相比于传统的全连接型DNNs，CNN具备更少数量级可调节参数的同时还能有效提取局部模式特征，这使得它特别适合于处理长时间跨度的数据流。 当涉及到时间序列预测时，可以通过滑动窗口机制将原始序列转换成二维矩阵形式供后续操作使用。下面给出一段Python伪代码说明这一过程： ```python import numpy as np def sliding_window(data, window_size): X = [] y = [] for i in range(len(data)-window_size-1): _X = data[i:(i+window_size)] _y = data[i+window_size] X.append(_X) y.append(_y) return np.array(X), np.array(y) # 构建CNN架构 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv1D, MaxPooling1D, Flatten, Dense model = Sequential() model.add(Conv1D(filters=64, kernel_size=3, activation='relu', input_shape=(n_timesteps,n_features))) model.add(MaxPooling1D(pool_size=2)) model.add(Flatten()) model.add(Dense(50, activation='relu')) model.add(Dense(n_outputs)) # 编译模型 model.compile(loss='mse', optimizer='adam') # 准备训练测试集... [X_train, Y_train], [X_val, Y_val] = prepare_data() history = model.fit(X_train, Y_train, epochs=epoche_num, batch_size=batch_sz, validation_split=val_ratio) ``` 上述代码定义了一种典型的一维卷积神经网络框架，并介绍了怎样准备适用于此类模型的时间序列数据。值得注意的是，由于不同领域内所面临的具体问题差异较大，因此在实践中往往需要根据实际情况灵活调整网络拓扑结构及其超参数设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值