fxlou的博客

2.1 为什么要进行实例探究 过去的卷积神经网络研究很多都集中在如何设计不同的卷积层、池化层等部件来实现最佳效果。在构建自己的卷积神经网络时，参考别人已经构建好的模型，是一个很好的方法，因为很多模型在一个领域表现良好，也可以迁移到其他领域。2.2 经典网络 1. LeNet-5网络 Lécun Y, Bottou L, Bengio Y, et al. Gradient-based...

1.1 计算机视觉 本节介绍了深度学习在另一个重要领域的应用：计算机视觉(Computer Vision)。列举了三个典型的使用案例：图像分类、目标识别以及图片的风格转换。由于全连接神经网络在直接处理图片样本时，输入空间的纬度太大，会造成模型参数数量太大，很难获得足够的样本数据来防止模型过拟合，另外，巨大的模型也会过度占用内存，成本过高。最后，引出了卷积神经网络的概念，这种包含卷积处...

2.1 进行误差分析 如果你构建的神经网络模型不能达到人类的水平，你可以手工查看模型错误的地方，这有助于你确定下一步如何进行改进。例如在猫的二分类模型中，出现了不少把狗认为是猫的错误判断，那么是不是应该建立一个专门判别狗的模型或者在训练集中增加狗的图片来减少把狗的错判率呢？可以这样做，找出100个错误判断的训练集，看里面有多少个是狗的图片，如果狗的图片只占5%，那么即使你专门针对狗的分类...

1.1 为什么要选择ML策略 当你想要对一个神经网络模型进行改进时，调整方法可能会很多，比如： 1.扩增训练集的数目 2.增加训练集的多样性 3.用梯度下降法训练模型更长的时间 4.尝试新的梯度下降法策略，比如Adam 5.增大或减小网络规模的大小 6.尝试dropout 7.填加L2L2L2正则化 8.改变网络的算法结构，例如改变激活函数、改变隐藏节点的数目等。如果按照不合...

3.1 调试处理 在训练神经网络模型时，超参数的选取是一个非常麻烦且费时的过程。主要的超参数包括： 1.α 1.α 1.\alpha\ 学习率 2.β1 momentum2.β1 momentum2.\beta_1\ momentum梯度下降法参数 3.#hiddien units 3.#hiddien units&n...

2.1 Mini-batch梯度下降法 机器学习的应用是高度依赖经验的过程，伴随着大量的迭代过程，需要训练大量的模型才能找到最合适那个。Mini-batch梯度下降法是一种有效的能够提升计算效率的优化算法。 假如你的模型有5,000,000个样本，如果直接对整个样本集（batch）进行训练的话，过程将会非常缓慢。因此，可以将大样本划分为许多小样本，分别对每个小样本进行训练。例如可以划分出500...

1.1 训练/开发/测试集 在构建一个机器学习模型时，需要将数据分配为训练（training）集、开发（development）集、测试集（test）集，合理的分配将会显著提高模型训练的效率。 图1 训练/开发/测试集分配 如图1所示，训练集用于开展对模型的训练，开发集用于选择最好的模型，当模型确定好以后，在测试集上来进行无偏评估。在机器学习时代，常见的数据划分做法是训练集70%测试集30%...

4.1深层神经网络 图1 不同深度的神经网络 图1是神经网络从浅层到深层的过渡过程，logistic回归过程可以看作单层的神经网络，2层或3层神经网络是较浅层的神经网络，最后一个神经网络层数已经达到6层，可以认为是深层的神经网络。 图2 深层神经网络中的符号 n[l]n[l]n^{[l]}表示第lll层的节点数，a[l]a[l]a^{[l]}表示第lll层的活化值，w[l]w[...

3.1 神经网络概览 第2周的课程重点讲解了logistic回归模型，这周开始学习神经网络模型。神经网络的原理与logistic类似，只不过节点更多，且会重复多层。 图1 logistic模型和神经网络模型图1上面两个图是logistic模型，样本数据x1,x2,x3x1,x2,x3x_1,x_2,x_3输入到一个节点中，前向传播分别计算z,az,az,a以及损失函数L(a,y)L(a...

2.1 二分分类 二分分类问题是根据输入XXX来判断其是否属于某种类型，用1和0来表示。 图1 判断图片中是否有猫的二分类问题 图1为一个典型的二分类问题。输入为一张RGB图片的三个通道亮度值，将这三个通道的亮度值依次排列出来构成了输入XXX，目标是判断图片中是否有猫，用输出y=1y=1y=1或000来表示。当输入图片数量为m个，纬度为nxnxn_x时，X∈Rnx×mX∈Rnx×mX\i...

1.2 什么是神经网络 本节从房价预测的例子讲起，如图1所示。 图1 房屋价格预测模型—单个神经元 已知几组房屋面积和价格之间的对应关系，想要构建一个根据房屋面积预测房屋价格的模型。最简单的模型是用一条直线进行拟合，由于房价不能为负数，所以在负值阶段取0值，这就是著名的”ReLU”函数。以上构建出的模型就是一个最简单的神经元（neuron）模型：给定一个输入x（房屋面积），喂给神经元后...