qq_42544836的博客

网络偏置的作用和意义1、Bias称为偏置或者阈值，偏置项的大小决定了网络产生正激励的程度；2、偏置不需要正则化，否则会导致欠拟合，偏差上升，学习能力下降损失函数（Loss Function）损失”就是所有样本的“误差”的总和，亦即（m为样本数）：作用：计算神经网络每次迭代的前向计算结果与真实值的差距，从而指导下一步的训练向正确的方向进行。损失函数越大，说明该分类器在真实标签上的分类概率越小，性能也就越差。当损失函数接近正无穷时表明训练发散，需要调小学习速率。具体步骤：1、用随机值初始化

DNN与感知机：又称深度神经网络，有时也叫做多层感知机（Multi-Layer perceptron,MLP）。跟之前学习的感知器一样，在此基础上增加了隐含层的层数，使网络的深度增加。层与层之间是全连接的，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。拥有一个线性关系：输入z位来自各节点的输入加权和,w是权值列向量，x是输入列向量激活函数：使用非线性激活函数，我们便能够从输入输出之间生成非线性映射。我们需要这样做，以便在网络中向后推进以计算相对于权重的误差（丢失）梯度时执行反向优

RBF网络一、概述Radical Basis Function ，RBF（径向基）网络的结构与多层前向网络类似，它是一种三层前向网络。第一层为输入层，由信号源结点组成;第二层为隐含层，隐单元数量由所描述问题决定，隐单元的变换函数是对中心点径向对称且衰减的非负非线性函数，该函数是局部响应函数（之前的前向网络变换的函数是全局的）;第三层为输出层，它对输入模式的作用作出响应。从输入空间到隐含层空间的变换是非线性的，而从隐含层空间的输出层空间变换是线性的。具有n个输入的RBF神经网络结构：b为阈值，

1、感知器理解感知器是生物神经细胞的简单抽象，被指认为单层的人工神经网络，区别于复杂的多层感知器。单层感知器是最简单的前向人工神经网络形式。感知器是一种线性分类器，结构简单，能够学习并解决复杂的问题。一、感知器模型单层感知器是指只有一层处理单元的感知器，不包含输入层；若有输入层，则为两层。输入层也为感知层，有N个神经元节点，无信息处理能力，只负责引入外部信息。每一个节点接受一个输入信号，N个节点一起组成了输入列向量P。输出层也成为处理层，只有一个神经元节点，可以处理信息。两层之间的链接用权值列

神经元（节点，维度）一个特征向量。在输入层的，就是你的原始数据的输入的特征向量，在其他层的，则是通过一系列线性或非线性变换得到的特征向量。直观上不正式的讲，就是数据中的‘一列’。输入层矩阵，最常见的就是二维矩阵（表格数据）。那么输入层，，就是输入数据的那一层。这一层的节点个数就是你数据的特征（变量）个数，每个节点（神经元）就是一个特征列向量（我假设了你的数据是一个csv文件，每一列是一个特征，每一个行是一个样本。）隐藏层其实就是输入层中的二维数据，经过各种矩阵点积、公式变换后的特征向量，也是每个