eowyn0406的博客

激活函数（activation function）从1.1感知机可知，感知机的激活函数为阶跃函数。当使用连续函数作为激活函数时，就进入了神经网络范畴。本节介绍一下神经网络中常用的激活函数。一、sigmoid函数首先，上公式：然后，上图：图1 Sigmoid函数（x<0时，y<0.5；x>=0时，y>0.5） 图2 Sigmoid函数v...

损失函数是表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。以“性能的恶劣程度”为指标可能会使人感到不太自然，但是如果给损失函数乘上一个负值，就可以解释为“在多大程度上不坏”，即“性能有多好”。并且，“使性能的恶劣程度达到最小”和“使性能的优良程度达到最大”是等价的，不管是用“恶劣程度”还是“优良程度”，做的事情本质上都是一样的。这个损失函数可...

前提（获得权重和偏置——学习的目的）神经网络存在合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为“学习”。神经网络的学习分成下面 4 个步骤。步骤 1（mini-batch）（计算全部样本的损失函数值时间过长，且非必要，计算其中一部分数据的损失函数即可）从训练数据中随机选出一部分数据，这部分数据称为 mini-batch。我们的目标是减小 mini-batch 的损失函数的值...

有个伟人曾经说过：学习首先要做的就是学单词，搞清楚概念。——那个人就是我。。。比如一个人说红薯，另一个人只知道地瓜，其实是一个东西，但是却不清楚对方在说什么。所以列一下机器学习中的简单的概念，方便日后回顾。训练数据/监督数据：一组输入输出对应的数据，比如y=ax，已知当x={1,2,3,4,5}时，y={2,4,6,8,10}，则训练数据就是{{1,2}，{2,4}，{3,6}，{4,...

手写数字 5 的例子：写法因人而异，五花八门如果让我们自己来设计一个能将 5 正确分类的程序，就会意外地发现这是一个很难的问题。人可以简单地识别出 5，但却很难明确说出是基于何种规律而识别出了 5。此外，从图 4-1 中也可以看到，每个人都有不同的写字习惯，要发现其中的规律是一件非常难的工作。因此，与其绞尽脑汁，从零开始想出一个可以识别 5 的算法，不如考虑通过有效利用数据来解决这个问...

本章的主题是神经网络的学习。这里所说的“学习”是指从训练数据中自动获取最优权重参数的过程。神经网络其实是建立了输入与输出的一个参数未知的关系式。例如：输出是Y（1*1），输入是X（n*1），建立了关系式Y=X'AX+BX+C，这样的一个n元二次关系。设n=3，，，，为简单起见，令则。现在已经知道输入X与输出Y之间存在上式所示二次关系，但是系数未知。学习的过程就是找到上述系数的过程。...

以如图1所示二层神经网络为例，梳理神经网络的学习流程。1. 说明各变量定义1. 输入量个数为3： 2. 输出量个数为2： 3. 中间层个数为4：  4. 权重矩阵W1、W2（不带偏置）的维度分别为3*4, 4*2.  5. 偏置矩阵b1、b2的维度分别为1*4,1*2,  图1 二层神经网络，3输入，2输出，X为输入层，Y为输出层，A为中间层...

一、感知机模型图1 感知机模型感知机可以认为是神经网络的前身，如图1所示是一个最简单的感知机。有两个输入x1和x2，权重值分别为w1和w2，一个偏置b，一个输出y。y值由下式决定，其中。（a）权重值决定输入值对y值的影响力，权重值越大，对应的输入对y值影响越大。（b）b为偏置，决定了y节点被激活的难易程度：b值越大，a越容易大于0，则y越容易被激活。二、激活函数...

神经网络可以用在分类问题和回归问题上，不过需要根据情况改变输出层的激活函数。一般而言，回归问题用恒等函数，分类问题用 softmax 函数。机器学习的问题大致可以分为分类问题和回归问题。分类问题是数据属于哪一个类别的问题。比如，区分图像中的人是男性还是女性的问题就是分类问题。而回归问题是根据某个输入预测一个（连续的）数值的问题。比如，根据一个人的图像预测这个人的体重的问题就是回归问题（类似“5...

神经网络内积 图1 一层神经网络（忽略偏置）如图1所示，是一个简单的一层神经网络，神经网络的层数有不同的叫法，本人使用神经元层数减一的命名方式，图1中只有一个输入层和一个输出层，即两层神经元，因此，称之为一层神经网络。先不考虑激活函数，用矩阵的形式写出该神经网络：（1）定义输入量为1*2的向量/矩阵；（2）定义输出量为1*3的向量/矩阵；（3）定义权重为2*3的矩阵。...

比如识别手写字，为何不直接用识别的正确率作为判断神经网络好坏的标准，而要费事引入一个损失函数来判断呢？因为如果使用识别正确率，当神经网络参数小幅度变化时，其识别正确率基本不变，即如果对参数进行微调，识别率（比如原来是30%，现在还是30%）肯定是一个精细度较差的数值，它不会显示30.01%到30.009%，还是30.01%到30.011%的变化，因此无法得到参数微调的结果对神经网络的影响究竟是...