一个程序媛的成长记录❤

（今天上完课，我们就算是放假了。放假了，也放松了，差点就忘了打卡这件事了o(╯□╰)o）今日导读：1. 神经网络的特征就是可以从数据中学习。即可以由训练数据自动获取最优权重参数的值。神经网络的优点是对所有问题都可以用同样的流程来解决。也就是说，与待处理的问题无关，神经网络可以将数据直接作为原始数据，进行“端对端”的学习。2.机器学习中，一般将数据分为训练数据和测试数据两部...

1.参数的更新神经网络学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化。除了SGD（stochastic gradient descent 随机梯度下降法）还有其他优化方法。虽然SGD简单，并且容易实现，但是在解决某些问题时可能没有效率。SGD低效的根本原因是，梯度的方向没有指向最小值的方向。为了改正SGD的缺点，我们将用Momentu...

（前几天都是用的有道云笔记，突然觉得用博客记录也比较好呀）今日导读：1.三层神经网络的实现# coding: utf-8import numpy as npdef sigmoid(x): return 1 / (1 + np.exp(-x))def identity_function(x): return xdef init_network(): ...

1.简单层的实现# coding: utf-8class MulLayer: def __init__(self): self.x = None self.y = None def forward(self, x, y): self.x = x self.y = y out = x * y...

1.Data Augmentation 数据扩充人为地扩充输入图像（训练图像）对于输入图像，通过施加旋转、垂直或者水平方向上的移动等微小变化，增加图像的数量。这在数据集的图像数量有限时尤其有效。DataAugmentation还可以通过其他各种方法扩充图像，比如裁剪图像的“crop处理”、将图像左右翻转的“flip处理”（flip处理只在不需要考虑图像对称性的情况下有效）等。对于...

通过CNN的可视化，随着层次变深，提取的信息愈加高级。CNN的卷积层中提取的信息。第1层的神经元对边缘或斑块有响应，第3层对纹理有响应，第5层对物体部件有响应，最后的全连接层对物体的类别（狗或车）有响应。LeNet和AlexNet是CNN的代表性网络。LeNet是1998年提出的（21年了耶）进行手写数字识别的网络，它有连续的卷积层和池化层，最后经全连接层输出结果...

卷积神经网络1.池化层池化：缩小高、长方向上的空间的运算如图所示是Max池化（Max池化是获取最大值的运算）按步幅2，从2×2的区域中取出最大的元素一般来说，池化的窗口大小会和步幅设定成相同的值。比如3×3的窗口的步幅会设成3，4×4的窗口的步幅会设成4除了Max池化以外，还有Average池化等。相对于Max池化是从目标区域中取出最大值，Average池化则是计算目标区...

主题：误差反向传播法（误差反响传播法是一个可以高效计算梯度的算法）1.什么是计算图？要正确理解误差反向传播法，有两种方法：1.基于数学式；2.基于计算图（computational graph）计算图将计算过程用图形表示出来。这里说的图形是数据结构图，通过多个节点和边表示（连接节点的直线称为“边”）用计算图解题需要按照如下流程进行：（1）构建计算图（2）在计算图上，从左...

卷积神经网络 CNN convolutional neural networkCNN被用于图像识别、语音识别等各种场合，在图像识别的比赛中，基于深度学习的方法几乎都以CNN为基础。（1）全连接此图是基于全连接层（Affine层）的网络的例子。神经网络中，相邻层的所有神经元之间都有连接，这称为全连接（fully-connected）全连接的神经网络中，Affine层后面跟着激...

1.什么是数值微分？（1）导数导数表示的是某个瞬间的变化量；“真的导数”对应函数在x处的斜率（称为切线）（2）数值微分利用微小的差分求导数的过程称为数值微分（3）偏导数有多个变量的函数的导数称为偏导数。偏导数和单变量的导数一样，都是求某个地方的斜率。不过，偏导数需要将多个变量中的某一个变量定为目标变量，并将其他变量固定为某个值。2.什么是梯度？如何通过数值微分计算梯...

1.正则化过拟合 指的是只能拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据的状态。发生过拟合的原因主要有：模型拥有大量参数、表现力强；训练数据少；抑制过拟合的方法有：权值衰减 和 Dropout权值衰减通过在学习的过程中对大的权重进行惩罚，来抑制过拟合；为损失函数加上权重的L2范数的权值衰减方法；但是如果网络的模型变得很复杂，只用权值衰减就难以应对了。Dropout...