传统算法与神经网络算法,神经网络都有哪些算法

Matlab神经网络原理中可以用于寻找最优解的算法有哪些？

若果对你有帮助，请点赞。神经网络的结构（例如2输入3隐节点1输出）建好后，一般就要求神经网络里的权值和阈值。

现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等），这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同，也就使各种算法适用于解决不同的问题），使初始解根据这个方向和步长移动后，能使目标函数的输出（在神经网络中就是预测误差）下降。

然后将它更新为新的解，再继续寻找下一步的移动方向的步长，这样不断的迭代下去，目标函数（神经网络中的预测误差）也不断下降，最终就能找到一个解，使得目标函数（预测误差）比较小。

而在寻解过程中，步长太大，就会搜索得不仔细，可能跨过了优秀的解，而步长太小，又会使寻解过程进行得太慢。因此，步长设置适当非常重要。

学习率对原步长（在梯度下降法中就是梯度的长度）作调整，如果学习率lr=0.1,那么梯度下降法中每次调整的步长就是0.1*梯度，而在matlab神经网络工具箱里的lr,代表的是初始学习率。

因为matlab工具箱为了在寻解不同阶段更智能的选择合适的步长，使用的是可变学习率，它会根据上一次解的调整对目标函数带来的效果来对学习率作调整，再根据学习率决定步长。

机制如下：ifnewE2/E2>maxE_inc%若果误差上升大于阈值lr=lr*lr_dec;%则降低学习率elseifnewE2

谷歌人工智能写作项目：神经网络伪原创

bp神经网络用啥算法？

自己找个例子算一下，推导一下，这个回答起来比较复杂神经网络对模型的表达能力依赖于优化算法，优化是一个不断计算梯度并调整可学习参数的过程，Fluid中的优化算法可参考 优化器 写作猫。

在网络的训练过程中，梯度计算分为两个步骤：前向计算与 反向传播 。前向计算会根据您搭建的网络结构，将输入单元的状态传递到输出单元。

反向传播借助 链式法则 ，计算两个或两个以上复合函数的导数，将输出单元的梯度反向传播回输入单元，根据计算出的梯度，调整网络的可学习参数。BP算法隐层的引入使网络具有很大的潜力。

但正像Minskey和Papert当时所指出的．虽然对所有那些能用简单(无隐层)网结解决的问题有非常简单的学习规则，即简单感知器的收敛程序(主要归功于Widrow和HMf于1960年提出的Delta规刚)，BP算法但当时并没有找到同样有技的含隐层的同培的学习规则。

对此问题的研究有三个基本的结果。一种是使用简单无监督学习规则的竞争学习方法．但它缺乏外部信息．难以确定适台映射的隐层结构。第二条途径是假设一十内部(隐层)的表示方法，这在一些先约条件下是台理的。

另一种方法是利用统计手段设计一个学习过程使之能有技地实现适当的内部表示法，Hinton等人(1984年)提出的Bolzmann机是这种方法的典型例子．它要求网络在两个不同的状态下达到平衡，并且只局限于对称网络。

Barto和他的同事(1985年)提出了另一条利用统计手段的学习方法。

但迄今为止最有教和最实用的方瑶是Rumelhart、Hinton和Williams(1986年)提出的一般Delta法则，即反向传播(BP)算法。

Parter(1985年)也独立地得出过相似的算法,他称之为学习逻辑。此外，Lecun(1985年)也研究出大致相似的学习法则。

手写数字识别的神经网络算法有哪些

看数字图片而定。如果图片较小并且质量还不错，那么通过2层的神经网络就能胜任。对于MNIst数据集（28*28的手写数字），2层神经网络准确率可达99%，svm也有98%以上。

以上实现非常简单，matlab已经有现成工具箱。卷积神经网络通常用于更加复杂的场合，闭合是被图像内容等。

在MNIST数据集上cnn可达99.7%准确率，但是实现起来较为复杂，需要通过开源框架caffe，keras等进行编程。

如果对准确率要求没有达到小数点后两位的程度，用简单的svm，神经网络，softmax等调调参数就行了。

常见的深度学习算法主要有哪些？

深度学习常见的3种算法有：卷积神经网络、循环神经网络、生成对抗网络。

卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeuralNetworks)，是深度学习的代表算法之一。

循环神经网络(RecurrentNeuralNetwork,RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。

生成对抗网络(GAN,GenerativeAdversarialNetworks)是一种深度学习模型，是最近两年十分热门的一种无监督学习算法。

基于神经网络的人脸识别有哪些算法

上次的人脸识别仿真，我们用的是PCA和SVM方法进行人脸识别，该方法仍属于机器学习领域，未涉及神经网络的知识。这次使用的方法是基于PCA和BP神经网络对人脸识别。

其中，PCA的功能和上次一致，是用来对20张图片进行降维处理，最终产生8个主成分作为BP神经网络的输入；神经网络的输出层采用4个神经元，用来区分两个不同的人脸；本例的BP神经网络采用8-10-4的三层结构，输入层神经元数量选取8个，隐含层神经元数量选取10个，输出层神经元数量选取4个。