Jayxbx的博客

0 分类问题评价指标根据分类器在测试数据集上的预测或正确或不正确可以分为四种情况： TP——将正类预测为正类数 FN——将正类预测为负类数 FP——将负类预测为正类数 TN——将负类预测为负类数记忆方法： T=True=+1      &nbs

第四章 神经网络可以计算任何函数的可视化证明    神经网络的一个最显著的事实就是它可以计算任何的函数。不管这个函数是什么样，总会确保有一个神经网络能够对任何可能的输入xxx，其值f(x)f(x)f(x)（或者某个足够准确的近似）是网络的输出。即使这个函数有很多输入和输出，这个结果都是成立的。这个结果表明神经网络拥有一种普遍性。4.1 两个预先声明...

第五章 深度神经网络为何很难训练    在深度网络中，不同的层学习的速度差异很大。当网络中后面的层学习的情况很好的时候，先前的层常常会在训练时停滞不变，基本学不到东西。根本原因是学习的速度下降了，学习速度的下降和基于梯度的学习技术有关。5.1 消失的梯度问题  &nbsp

第六章 深度学习介绍卷积网络    使用全连接层的网络进行图像分类的时候，全连接层的网络架构不会考虑图像的空间结构。它平等对待相距很远和彼此接近的输入像素。图像的空间结构必须从训练数据中学习。而卷积神经网络是一种设法利用图像空间结构的网络。     卷积神经网络采用了三种基本概念：局部感受野，共享权重，池...

1.Xaiver初始化1.1 目标    每一层输出的方差应该尽量相等，每一层的梯度的方差也应该保持相同。那么，每一层的权重应该满足哪种条件。1.2 结论    权重的方差应该满足：∀i，Var[Wi]=2nin+nout∀i，Var[Wi]=2nin+nout\forall i，Var[W^i]=\f...

第一章 使用神经网络识别手写数字1.1 感知器一个感知器    一个感知器接受几个二进制输入，并产生一个二进制输出：     神经元的输出：0或者1，由分配权重后的总和大于或小于阈值来决定。权重衡量这个输入的重要程

第二章 反向传播算法如何工作如何计算代价函数的梯度？——反向传播 反向传播的核心：一个代价函数C关于任何权重w（或者偏置b）的偏导数的表达式。2.1 热身：神经网络中使用矩阵快速计算输出的方法 2.2 关于代价函数的两个假设第一个假设第二个假设：代价函数可以写成神经网络输出的函数 2.3 Hadamard 乘积 &nb...

第三章 改进神经网络的学习方法3.1 交叉熵代价函数    理想的情况：我们希望神经网络可以从错误中快速地学习。 &a