WPR1991的博客

标量：一个标量就是一个单独的数向量：一个向量是一列数，这些数是有序排列的，比如：,如果每个元素都属于实数R，且有n个元素，则记为：。向量可以看做n维空间的点。矩阵：二维数组，如果一个矩阵A高度为m，宽度为n，且每个元素都属于实数，则记为：A∈张量：一组数组中的元素分布在多个坐标中，称其为张量转置：矩阵转置是以对角线为轴的镜像，从左上角到右下角的对角线称为主对角线。矩阵A的转置记为。...

这是一个最简单的神经网络模型图，第一层是输入层，第二层是隐藏层，第三层是输出层。第一层的输入数据分配一个权重后，计算的结果并用激活函数进行激活再传给隐藏层，然后隐藏层再对数据进行权重分配，计算出结果传给输出层，输出层再用激活函数将最后结果输出。反向传播法的用途在于：当最后输出层的数据与真实数据相比有误差时，会反向更新权重参数。                                  ...

    深度学习是机器学习的一个重要分支，而神经网络则是其理论基础。神经网络的设计来源于神经科学，很早之前科学家就研究了神经元的组成结构。而这种神经元结构也就是神经网络的原型。    神经元模型是一个包括一个输入、输出以及计算功能的模型，如下图：    在每一个连接上都会有一个参数，叫做权重。一个神经网络的算法就是让权重值调整到最佳，以使得整个网络的预测效果达到最好。在初端，传递的信号...

    深度前馈网络(deep feedforward network)，也叫做前馈神经网络(feedforward neural network)，或者多层感知机(multilayer perceptron, MLP)，是典型的深度学习模型。基本上所有的深度学习算法的过程都可以定义为：数据集的输入→求代价函数→最优化处理→得到模型。前馈网络也类似：该网络的目标是获得一个算法过程近似某个函数f*。...

本篇文章整理自FJODOR VAN VEEN的论文：The Neural Network Zoo。本文介绍了神经网络大家族，但不是所有的神经网络都能涵盖，毕竟新的网络结构在不断被发展出来。以下是神经网络的图谱。介绍神经网络之前，先介绍神经元的分类，这部分内容来自博友的文章。基本的人工神经网络神经元（basic neural network cell）：这种简单的类型可以在常规的前馈...

深度前馈神经网络（FNN）一般有两种结构，包括反向传播网络（BP）与径向基函数神经网络（RBF）。在这片文章中，重点研究反向传播网络。而BP网络也是众多神经网络里最简单的一种。最简单的BP网络如下所示：                                  输入层是一个线性函数，激活函数则选用sigmoid函数。在这个网络中，只要输入两个参数x和y，就可以开始训练了。   ...