u010132497的博客

机器学习第一天

本文来自于网易云课堂进行误差分析如果你希望让学习算法能够达到人类的地步，但是还没有达到，那么人工检查一下你的算法犯的错误，会让你了解接下来该做什么。这个过程称为误差分析。 对于一个猫狗分类的任务，你最终实现了90%的精度，这远远没有达到你的目标。然后你对出错的分类图片进行分析，发现他们看起来是有点像猫。或许你的队友给你提一些建议，增加一些针对狗的图片优化算法，让你对狗的分类更加合理。...

本文来自于网易云课堂梯度消失和梯度爆炸训练神经网络，尤其是深度神经网络所面临的一个问题是梯度消失(data vanishing)或梯度爆炸(exploding gradients).什么是梯度消失或梯度爆炸呢？通俗点说就是梯度很小或者梯度很大。那么怎么产生的呢？ 为了解决梯度消失和梯度爆炸问题，人们提出了一个不完整的解决方案，虽然不能彻底地解决问题，但是很有用，它会帮助网络更...

本文来自于网易云课堂本周主要学习优化算法来加快神经网络的训练过程。机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代，需要训练诸多模型才能找到合适的那一个。所以，优化算法能够帮助你快速训练模型。深度学习没有在大数据领域发货最大的效果，我们可以利用一个巨大的数据集来训练神经网络，而在巨大的数据集基础上进行训练速度很慢。所以，使用快速的优化算法会大大提高效率。1mini-batch梯度...

本文来自于网易云课堂在不同的划分上进行训练和测试深度学习算法对训练数据的胃口很大，当你收集到足够多的数据集并构成训练集时算法效果最好。这导致很多团队用尽一切办法收集数据然后把他们堆到训练集里，让训练的数据量更大，即使有些数据都来自和开发集测试集不同的分布。所以在深度学习时代，越来越多的团队，都用来自和开发集和测试集分布不同的数据来训练。这里有一些微妙的地方，一些最佳做法，来处理训练集和...

找到这个文件 修改如下： 改完以后记得重启内核

本文来自于网易云课堂迁移学习深度学习中最强大的一个理念是可以从一个任务中学到知识，并将这些知识应用到另一个独立的任务中。比如说你训练了一个神经网络可以识别猫的图片，这个神经网络的知识或者部分知识可以用来阅读x射线扫描图。这就是所谓的迁移学习。 假设你已经训练好一个图像识别神经网络，比如说识别猫，如果你想要将学习到的知识应用到其他任务中，比如说识别x射线扫描图，你可以做的是把神经网...

本文来自于网易云课堂指数加权平均指数加权平均在统计学中也称为指数加权移动平均。为了更好的理解这个术语，我们以温度随天数变化为例介绍。 上图是温度随天数变化的散点图，为了计算温度随天数的变化趋势，我们引入公式： vt=βvt−1+(1−β)θt，θt是指当天的温度,vt是指当天的移动平均温度vt=βvt−1+(1−β)θt，θt是指当天的温度,vt是指当天的移动平均温度v_t =...

本文来自于网易云课堂RMSProp算法RMSProp算法全称root mean square prop算法。 从前面的例子可以知道，当我们利用梯度下降法的时候，虽然横轴也在前进，但纵轴摆动太大。假设纵轴是b横轴是w，假如我们想减弱b的幅度，加快或者不减少w的前进，RMSProp算法就可以起到这个作用。 其执行过程是这样的： 那么该算法是怎么起作用的呢？对于b方向，我们想减...

本文来自于网易云课堂学习率衰减加快学习的一个办法就是随时间慢慢减少学习率，我们称之为学习率衰减。慢慢减少学习率的原因在于，在训练的初期，你可以承受较大的步伐，但是开始收敛的时候，小的学习率能让你的步伐变小一些。 如何减少学习率呢？ 我们称一次迭代为1poch，那么让 α=11+decay−rate∗epoch−num∗α0α=11+decay−rate∗epoch−num∗α0\...

本文来自于网易云课堂计算机视觉多亏了深度学习，计算机视觉得到飞速发展。计算机视觉可以帮助车辆识别行人，信号灯等并帮助汽车做出响应。计算机还成功应用在人脸识别中，甚至还催生了一种新的艺术形式。 在应用计算机视觉时要面临一个挑战就是数据的输入可能非常大。以前的图片是64*64*3，这个数据量为12288，而如果你的图片是1000*1000*3=3百万个数据量，那么神经网络的输入层的维...

本文来自于网易云课堂Inception网络简介当构建卷积层时需要考虑过滤器的大小究竟是1×3，3×3还是5×5，要不要添加池化层而inception网络的作用就是代替你来做决定。虽然网络架构因此变得更加复杂，但网络表现却非常好。 对于一个28*28*192的输入，inception网络或inception层的作用就是代替人工来确定卷积层中的过滤器类型或者确定是否需要卷积层或者池化...

本文来自于网易云课堂目标定位 目标定位不仅仅是要识别出图片有没有那个东西还要用方框标记出目标的位置。对于一个多分类问题，我们可以利用softmax来表示输出，那么图形的边框该如何表示呢？我们可以采用表框的参数化表示，如bx，by，bh，bw。下面我们介绍一下约定：图片左上角为（0，0），右下角为（1，1），要想确定边界框的具体位置，需要指定边框的中心为（bx，by），边界框的高度为b...

本文来自于网易云课堂为什么要进行实例探究上一讲我们介绍了卷积神经网络的基本组件，事实上过去几年，计算机视觉研究中的大量研究都集中在如何把这些基本构建组合起来形成有效的卷积神经网络。找感觉的最好方法之一就是去看一些案例，就像很多人通过看别人的代码来学习编程一样，通过研究别人构建有效组件的案例是个不错的办法。实际上在视觉网络中表现良好的网络架构往往也适合于其他任务。也就是说，如果别人已经训...

本文来自于网易云课堂什么是人脸识别one shot人脸识别面临的一个挑战是你必须要解决一次学习问题。这意味着在绝大多数人脸识别应用中你需要通过单单一张图片就能去识别这个人。但是在历史上，当只有一个训练样例时，神经网络的学习并不好。 假设你的数据库中有4张员工的图片。现在假如说有个人来到了办公室并且她想通过带有人脸识别系统的栅门。现在，系统需要做的就是仅仅通过一张员工的...

本文来自于网易云课堂什么是神经风格转换深度卷积网络在学什么？ 可以这么理解，每一层的每个单元都对应着不同的特征，如果检测到这个特征，那么这个单元就会被激活。 代价函数要构建一个神经风格迁移系统，让我们为生成的图像定义一个代价函数。下面你会看到通过最小化代价函数你可以生成任何你想要的图像。记住我们的目标，给定一个图片C和风格图片S，你的目标是生成图片G。为了实现这个目...

本文来自于网易云课堂为什么选择序列模型数学符号这节课从了解数学符号开始一步步进行构建序列模型。假如你想建立一个能够自动识别句中人名位置的序列模型，那么这就是一个命名实体识别问题，常用语搜索引擎。现在给定这样一个输入x，假如你想要序列模型输出y，1代表是一个人名的一部分，0代表不是。 Tx和Ty分别表示x，y的长度。 x(i)<t>x(i)<t>x...

本文来自于网易云课堂这一部分和之前的内容有相当多的重合！之前的文章已经介绍过这一部分内容了深度学习的实用层面设立训练集、验证集和测试集设立训练集，验证集和测试集的方式大大影响了你或者你的团队建立机器学习应用方面取得进展的进度。不同的团队即使是大公司的团队，错误的设立这些集合的方式会让团队的进度变慢。那么我们该如何设立这些数据集来让你的团队效率最大化呢？ dev集，也就是开发集（d...

本文来自于网易云课堂深度学习框架

以下所有例子和内容均来自于网易云课堂机器学习课程机器学习的应用 第1幅图片是图像识别的例子，这个大家很常见了。 第二幅图片是打排球。它是利用了随机森林的算法将人的真实动作转换为虚拟动作。 第三幅图，google的VR头盔可以根据人物的运动自动调整人物画像。 第四幅图也是人们非常熟悉的语音识别。 第五幅图是机器狗能够自己学习走路，这是利用了强化学习的算法 第六

本文笔记来自于网易云课堂。神经网络是什么？考虑一下这么一个例子： 假如你手中有一些房子面积和房子价格的数据，想根据这些数据来预测房子的价格。通过这些数据，你可能会发现房屋面积和房屋价格之间存在某种函数关系，于是，你得到了单个神经网络。 后来，你发现房屋的价格不仅与房子的面积有关，还与房子所在城市的邮政编码、房子周围的教育资源以及房子周围的富裕程度有关，那么我们可以通过搭积木的方...

笔记来自于网易云课堂二分类问题本文用到的符号约定：假如我们想识别一幅图片是不是猫。也就是说，训练一个分类器，输入一幅图片，用特征向量xxx表示，输出是不是猫，用yyy=0或1表示。 一幅图片在电脑中以R、G、B三个矩阵来表示，每个矩阵维度和图片维度一致。如果图片分辨率为64*64，那么每个矩阵都是64*64。 那么创建特征向量xxx如下 值得说明的是，好的符号惯例...

1、寒假期间阅读了《笨办法学python》（《learn python the hard way 3thrd》），打算回到学校将阅读心得记录下来。 2、 关于机器学习的学习计划有2部分。第一部分是python的学习，基础语法已经学习了一下，下一步计划是对python中科学计算和统计分析的各个模块进行细致的学习一下。第二部分是对机器学习的课程进行细致的学习并进行记录。 3、 在研究生期间深深感受...

本文来自于网易云课堂

本文来自于网易云课堂1 符号约定[]表示层数，()表示样本数，例如a[1]a[1]a^{[1]}表示神经网络的第一层，a[1](1)a[1](1)a^{[1](1)}表示神经网络第一层的第一个样本。a[1]1a1[1]a_1^{[1]}表示a[1]a[1]a^{[1]}的第一个特征或者参数。2 神经网络的表示 习惯上，我们不把输入层作为神经网络的层数，也就是上图表示的是...

本文来自于网易云课堂5 激活函数搭建一个神经网络时，你可以选择隐藏层中或者输出层中使用什么激活函数（actuation function），到目前为止，我们一直使用的是sigmoid函数，但其他函数效果会更好。 在实际训练中，有个函数表现总是比sigmoid好，叫tanh（双曲正切函数），它的输出是（-1,1），从数学上，它其实是sigmoid函数的平移。 tanh=ez−...

最近完全被python的各种版本，安装包，工具什么的弄疯了，感觉与python相关的东西太多了，一时间让人分辨不出来到底什么是干什么的。于是，我疯狂的查阅各种资料，才逐渐慢慢理解了与python相关的各种工具和包。下面，将我的困惑记录下来，希望可以和有同样烦恼的朋友分享！1. conda、pip和anaconda到底是干嘛的，有什么区别？在各种网站上找了好久，最后发现其实这些问题都可以...

本文来自于网易公开课1 什么是深度神经网络？深度神经网络只不过是多隐层的神经网络，深度和浅层只不过是衡量隐层数的多少。在处理任何具体的问题时，预先准确的判断需要多深的神经网络很难，所以先试试看logistic回归是很合理的做法。试一下一层或者2层，在逐步验证。符号约定lll：层数 n[l]n[l]n^{[l]}:第lll层的节点数或单元数 a[l]a[l]a^{[l]}...

本文来自于网易云课堂本次教程继续学习如何有效运作神经网络，设计超参数优化，如何构建数据以及如何确保算法快速运行从而使学习算法在合理时间内完成自我学习。1 训练、开发、测试集在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。在训练神经网络时，我们需要做出很多决策，比如说层数，每层节点数，学习率，每层的激活函数等。我们不可能一开始就给出很正确的参数，...

本文来自于网易云课堂调试处理神经网络的改变会涉及到许多不同的超参数的设置，对于超参数而言，如何找到一套好的设定呢？本节会学习一些系统的组织超参数调试过程的技巧。深度学习需要设置许多超参数，但这些超参数的设置是有优先级的，其中Adrew Ng认为αα\alpha是需要调试的最重要的超参数，其次是ββ\beta，hidden units和mini-batch size，然后是layers和...

本文来源于网易云课堂2 偏差与方差 Bias and variance 从图中可以看出，第一幅图拟合的不到位，也就是存在很多误分类的情况，这种情况称之为欠拟合，也就是高偏差，第三幅图从直觉上看属于拟合的过头了，这种叫做过拟合，也就是高方差。而中间的图感觉正合适。在二维空间中，我们可以通过绘制数据，将方差和偏差可视化，但在高维数据中这种方法不可用。那么我们怎么衡量偏差和方差呢？我们...

本文来自于网易云课堂 在深度学习兴起后，最重要的一个思想是一个算法-Batch归一化，由Sergey Ioffe和Christian Szegedy两位研究者创造。Batch归一化会使参数搜索问题变得很容易，使神经网络对超参数的旋转更加稳定，超参数的范围会更庞大，工作效果也很好。 在逻辑回归中，我们学过归一化输入会让算法运行的更好。 那么我们可不可以归一化每一层的a来使得下一次的参数训练...

本文来源于网易云课堂dropout正则化除了L2正则化，还有一个非常实用的正则化方法-dropout（随机失活）。 假设你在训练如图这样的神经网络，它存在过拟合。dropout会遍历网络的每一层，并设置消除神经网络中节点的概率。假如以抛硬币的方式设置概率，即概率为0.5，那么就会有一些节点被删除，如图所示。 删除从节点进出的连线，得到一个样本精简后的网络。对于其他样本，我们照旧...

本文来自于网易云课堂 当你训练一个模型达到较高的识别度的时候，你可能会想到很多方法来继续提高神经网络模型的表现。问题在于，如果你做出了错误的选择，你完全有可能会浪费6个月的时间往错误的方向前进。本课程Andrew Ng会介绍一些策略和分析机器学习问题的方法来指引我们朝着最有希望的方向前进，他还会分析一些他在构建大型神经网络过程中的经验和教训。正交化 假如你有这样一台电视，每个旋...

本文来自于网易云课堂Softmax回归前面介绍的都是2分类问题，如果是多分类的问题怎么办呢？ 最后一层输出的是一个向量，里面代表了各个概率，其总和为1。 对于l-1层，训练过程和二分类一样，对于l层，激活函数有些区别，需要输入一个4*1维向量然后归一化输出4*1维向量。 Z[l]=W[l]a[l−1]+b[l]Z[l]=W[l]a[l−1]+b[l]Z^{[l]} = W...

本文来自于网易云课堂语言模型和序列在NLP中，构建语言模型是最基础也是最重要的工作之一，并且能用RNN很好的实现。所以，什么是语言模型呢？语言模型所做的就是它会告诉你某个特定的句子出现的概率是多少。 那么如何建立一个语言模型呢？你首先需要一个训练集，包含一个很大的英文文本语料库或者其他的语言的语料库。语料库是NLP的一个专有名词，意思就是很长的或者说是数量众多的英文句子组成的文本。假...