weixin_41043240的博客

 数据集深度学习是基于经验的，即使是经验丰富的专家也很难再项目开始的时候就能够确定最优参数，比如神经网络的层数，每层的单元数，每层的激活函数，学习速率等，一般是先选择一个简单的模型，通过不断的迭代来修改各参数，直到最优解。法则一：一般在项目中会把数据集分成三份：训练集(training set)：用于模型训练验证集(developing set/dev set)：用于交叉验证测试集(test se...

1. Computer Vision计算机视觉包括：  --图片分类（图片识别）Image classification  --目标检测 object detection  --神经风格迁移 neural style transfer，如合成图片创造新的艺术风格计算机视觉面临的一个挑战是输入数据较大，这就带来两个问题，一是神经网络复杂，参数较多，容易发生过拟合，二是计算量大所需内存也多，解决方法就...

1. Word representation词汇表征Word embeddings词嵌入让算法自动理解同类词。 之前我们将对词的表示用的是one-shot，这种方法简单，这种表示方法的一个缺点就是，它把每个词都孤立起来了，使得其对相关词的泛化能力不强，因为任意两个one-shot向量内积都为0 ，也就是任意两个词间的距离是一样的，没有词类的概念。 举个例子，若已经学习了I want...

1. Basic model基础模型例如将法语翻译成英语： 首先将法语单词逐个输入到CNN，这部分称为encoder network，然后一次输出一个英语单词，这部分称为decoder network。 CNN结合RNN解读图片内容，如上图输入一副图像，生成一句描述图像的句子。2.Picking the most likely sentence最优句子 如图，是语言模...

解决方法一在学习吴恩达老师的深度学习-车辆检测的课程中遇到了yolo.h5 load失败的问题，通过命令： conda update-c conda-forge tensorflow 将tensorflow更新到1.5之后就可以了，注意如果建立了tensorflow envs，那么base和tensorflow envs下面的tensorflow都要更新，也就是： 打开Anaconda ...

此文仅供日后内容查找使用：1-2：Python+Basics+With+Numpy+v3sigmoid sigmoid_derivative #求导 image2vector #reshape normalizeRows softmax L1 and L2 loss functionsLogistic Regression with a Neural ...

1. CUDACUDA：a general purpose parallel computing platform and programming model that leverages the parallel compute engine in NVIDIA GPUs to solve many complex computational problems in a more effic...

1 用于回归的损失函数-残差（Residual）|ŷ−y||y^−y||\hat y-y|令r=|ŷ−y|r=|y^−y|r=|\hat y-y|1. L1 LossL(r)=r=|ŷ−y|L(r)=r=|y^−y|L(r) = r = |\hat y-y|2. L2 LossL(r)=r2=(ŷ−y)2L(r)=r2=(y^−y)2L(r) = r^2 = (\hat...

1. 最邻近分类算法（nearest neighbor classification）原理很简单，就是把标记好的图像都储存下来，预测的时候计算新图像和库中的每幅图像的L1距离，找到距离最近的图像即为最邻近。 code解析：时间复杂度train： O(1)， predict： O(n)，train的耗时少，predict耗时长，而我们理想的或者需要的是predict耗时少，train可以耗...

1 下载作业http://cs231n.github.io/2018年作业被分成了两部分： assignment1：Image classification、KNN、SVM、Softmax、Neural Network assignment2：Fully-connected Nets, Batch Normalization, Dropout, Convolutional Nets ...

方法1Download the ImageNet datasetThe ImageNet Large Scale Visual Recognition Challenge (ILSVRC) dataset has 1000 categories and 1.2 million images. The images do not need to be preprocessed or pack...

1. why sequence models?序列模型是监督学习的一种，也就是其输入数据是带标签的。 如图给出了几个典型的序列模型的应用，如语音识别、音乐生成（输入可以为空，输出是时序的）、情感分析、DNA序列分析、机器翻译、视频行为识别、人名实体识别等，其特点是输入或输入或者输入输出是时序的。2. Notation数学符号下面以一个人名实体识别为例讲述表示符号，给出一句话X...

1. What is face recognition什么是人脸识别活体检测（liveness detection）:确认是否为一个活人，区别于照片。人脸验证（face verification）：提供一个人的照片以及名字或ID，验证这个人的照片和名字是否对应。为1：1问题；人脸识别（face recognition）：有一个含有k个人信息的数据库，输入一个人的照片，确认他是不是数据库中...

1. 固定数据矩阵维度X = (特征数，样本数m) Y = （1， 样本数） w = （n[L]，n[L-1]） b = (n[L], 1)2. 如何防止梯度消失或爆炸1-4里面 assignment2里面关于深层神经网络的初始化，用了2-1里面讲的方法，即为了防止梯度消失或爆炸，可以使其权重除以输入层神经单元n[l-1]的个数(在初始化时)，这样新得到的z就不会变化过大。...

2.为什么神经网络这几年突然火起来了？大数据的驱动，其他算法在数据达到一定规模之后，其表现会比较固定，但神经网络却是为大数据而生，数据量越大其表现效果越好3.为什么神经网络不用simoid函数而用ReLu(rectified linear unit)修正线性单元因为sigmod函数在取值接近于1的时候，函数斜率会趋近于0，导致收敛会很慢（梯度接近于0）...

1.二分类  对特征X以及y的矩阵一般这样标记：（统一的标记方法会让后续的处理更容易）X.shape是python中的命令，来确保X矩阵中每一列是一个样本的数据。2.  逻辑回归为什么引入sigmoid函数对于线性回归,y可能是任意值，而逻辑回归希望完成的是（离散）分类，即确定什么情况下属于此类而什么情况下不属于此类，对此，很难找到一个实数来划分，若能控制y的取值在0到1之间，通过判断y是否为1来...

1. 神经网络长什么样？神经网络引入了layer（层）和unit（单元）的概念，x是第一层也就是输入层，含有三个unit（单元），其单元数通常是特征值的个数，有时候输入层也会被表示成a[0]，最后一层叫做输出层，（输出层也可能包含多个单元，即多分类，对于多分类问题，给定输入值x，预测其属于哪类，就看其哪类的预测值最大）。中间的称谓隐藏层，计算一个神经网络的层数的时候，输入层通常不计入，即如果有一个...

1. 深层神经网络长什么样？所谓深层神经网络其实就是含有更多的隐藏层或隐藏层单元的神经网络。2. 前向传播深层神经网络前向传播的向量化实现：这里需要逐层计算每层的z和a，一般只能用for循环（从第1层到第L层，输入层被称为第0层）3. 如何确定矩阵的维数n[0]是输入层的特征数，n[1]是第一层的单元数，以此类推，m为样本数。4. 构建深层神经网络的块前向传播计算a[l],同时缓存w b z，留待...

1. Why look at case studies本节展示几个神经网络的实例分析为什么要讲实例？近些年CNN的主要任务就是研究如何将基本构件（CONV、POOL、CF）组合起来形成有效的CNN，而学习了解前人的做法可以激发创造2. Classic Networks1）LeNet-5该LeNet模型总共包含了大约6万个参数。当时Yann LeCun提出的LeNet-5模型池化层使用的是avera...

1. Object Localization目标定位1）什么是目标定位分类解决了这是什么的问题，比如下图，这是一辆车，；定位问题则是要把车的位置标识出来，叫做定位分类问题；检测问题后面会讲，检测问题就是在一幅图像中有多个对象时，应该如何检测并确定其位置。分类和定位问题使用的图像一般只有一个对象，位于图像的中间，而检测所用的图像一般会有多个对象，甚至是多个不同分类的对象2）如何在分类的基础上实现目标...

1. Mini-batch gradient descent1）是什么？在Batch gradient descent时，每次迭代都要遍历整个训练集，当训练集数目过大时，会导致学习速度很慢。如果训练集巨大，将训练集分为t个子集，即mini-batch（如1000个样本），用每一个子集对神经网络进行训练，这样一个训练集就可以对神经网络训练t次，加上对神经网络迭代的次数s，所以总的训练次数为s*t。上...

1. Why ML Strategy为什么需要机器学习策略，机器学习策略指的是一些分析机器学习问题的方法。让我们从一个例子开始：假设训练的分类器准确率为90%，想要提高准确率应该怎么办呢？我们有很多选择可以尝试，但尝试错误的话往往会浪费大量时间，机器学习策略就是在尝试之前帮忙分析出哪种或哪几种方法可能性最大，2. Orthogonalization正交化搭建机器学习系统的挑战之一就是有太多的东西如...

1. 系统组织超参调试Tuning process1）深度神经网络的超参有学习速率、层数、隐藏层单元数、mini-batch大小、学习速率衰减、β（优化算法）等。其重要性各不相同，按重要性分类的话：   第一类：最重要的参数就是学习速率α    第二类：隐藏层单元数、mini-batch大小、β（优化算法）    第三类：层数、学习速率衰减2）如何选择调试的参数组合呢？当超参较少时，传统的做法是在...

1. Carrying out error analysis误差分析误差分析：顾名思义就是对错误的部分进行分析，在训练集或开发集里随机取一定数量的错误样本，如100个，然后手动统计错误类型，根据错误类型决定下一步应该做什么。统计过程推荐采用电子表格。作用：可以帮助快速定位某个方向是否值得尝试。举例说明：猫识别的例子，假设建立的模型正确率为90%，也就是错误率是10%，而且我们发现被分错的里面有一些...

感受野：在卷积神经网络CNN中，决定某一层输出结果中一个元素所对应的输入层的区域大小，被称作感受野receptive field。 注意：这里的输入层并不一定是原始图像，可能对原始图像进行了填充。如上图所示，第一次卷积，卷积核大小（kernel size）k=3*3，填充大小（padding size）p=1*1，步长（stride）s=2*2，（如图左上）对5*5的输入特征图进行卷积生...