daizongxue的博客

今天又翻看random forest算法，看到bagging原理的时候，突然觉得怎么bagging和dropout有点相似？bagging是每次构建树的时候，都有一些样本对单棵树不可见，而dropout是每次训练的时候，都有一些神经元对样本不可见。这里的样本、单棵树、神经元都有什么关联？随手百度了下，发现已有人给出了不错的解释，现做一个搬运工，将文章贴于此处，以供日后查阅。以下内容转自博客

本周的内容主要包括词表示，word embedding，word2vec，GloVe，情感分类，词嵌入除偏等。2.1 word representation词表示上周我们学习了RNN，GRU, LSTM。本周将看到怎么将它们应用到NLP领域的。NLP是AI的领域之一，因为深度学习带给了NLP一次革命。而其中的关键思想就是word embeddings，它是一种表示词的方法，可以使算法自...

吴恩达老师的RNN课程已经学了一遍了，但总觉得自己学得不够明白，怎么办？再来一遍啊。书读百遍其义自见嘛！ 第一周的课程主要介绍序列模型的应用场景；深度学习中的RNN基础结构、GRU、LSTM、BRNN；语言模型和序列采样的知识。1.1 为什么需要序列模型？本课程中，我们将学习序列模型，深度学习令人兴奋的领域之一。RNN这类模型已经改变了语音识别、自然语言处理等其他领域。在本门课中，你将学习如何自己

本文由网络上一些回答和博文汇总而成。要将这个问题解释清楚，得结合tensorflow中创建变量的两种方式tf.get_variable()和tf.Variable()一起说明。在tf.name_scope下：tf.get_variable()创建的变量名不受tf.name_scope的影响，即创建的变量的name没有name_scope定义的前缀。而且，在未指定共享变量时，如果重名会报...

1 动机常见的用于识别、分类的cnn都要求输入的图像size是固定的，如224*224。因为CNN由卷积层和全连接层两部分组成。卷积层就是一个大小固定的滑动窗在图像上滑动计算窗口覆盖区域的特征，这其实对图像的size是没有要求的，无论输入的size是什么，都可以根据滑动步长和窗口大小生成对应size的输出/feature map。全连接层需要固定长度的输入，如图，绿色的那一层是前面黄色那一层...

本周的内容主要包括误差分析、训练集与dev/test set的不匹配（主要指数据分布不同）、迁移学习和端到端学习。error analysis如果我们希望学习算法能够胜任人类能做的任务，但在学习算法还没有达到人类水平之前，我们要不断地分析算法的错误或问题出现在哪里，这个过程就称为误差分析。2.1 carry out error analysis假设我们在调试一个识别猫的模型

机器学习策略1.1 why ML strategy？为什么需要机器学习策略？比如我们在训练一个猫的分类器，经过一段时间训练后，准确率达到了90%，但这对我们来说还不够好。然后，我们就会想很多方法来提升分类器的准确率，如下图所示： 如上图所示，当尝试优化一个深度学习系统时，我们可以做很多尝试。但是，如果我们选错方向，就会浪费我们大量的时间和精力。因此，机器学习策略的目的就是给大家列

超参数调试 、batch normalization 、deep learning framework3.1 tuning process在调参时，有些参数会比其他参数重要的多，以下列出一些调参的guidelines:1、最重要的参数：学习率α\alpha 2、次重要的参数：momentum中的β\beta（0.9就不错）、#hidden units、mini-batch si

终于~吴老大出了深度学习的第四课-卷积神经网络，赶紧一睹为快~ 本周的课程包括卷积神经网路的一些基础知识：边缘检测、图像边的填充padding、滑动步长stride、3D卷积操作、单层卷积网络、池化层、卷积神经网络例子以及为什么需要卷积。1.1 Computer Vision计算机视觉计算机视觉领域的问题：图像分类（有时也称为图像识别）目标检测（找到目标在图像中的位置，目标数量不定）neur

本周将会展示几个有效的ConvNet案例，如LeNet-5、Alex Net、VGG16、ResNet、Inception，以及这些网络所涉及的一些技巧，如short cut（skip connection）、1*1卷积。最后介绍了如何使用这些网络，比如，直接在github上找不同框架下实现的网络，还可以在别人pre-training的基础上fine tune网络，fine tune的参数多少取决于

本节课包括深度学习的一些基础知识，如什么是神经网络，激活函数，梯度下降法，向量化操作，前向传播和后向传播等等。1.2 What is a neural network?“深度学习”一词指的是训练神经网络，有时候是非常大的神经网络。那么，神经网络到底是什么呢？ 以房价预测为例，假设我们有6组关于房屋面积-房价的数据，如下图所示，用线性函数拟合这组数据，又因为我们知道房价永远不可能为负，因此，当函数小

本周的内容主要围绕人脸识别展开，主要包括face verification、face recognition、neural style transfer。4.1 What is face recognition?首先来看看人脸识别领域的一些术语。如下图所示，分别说明了人脸确认和人脸识别的概念。人脸确认是个1对1的问题，而人脸识别比人脸确认更难，是个1对K的问题。如果人脸确认系统的正确率是99%，当我

优化算法在大数据上训练模型会很慢，若使用优化算法，就会大大提高训练效率。本周的内容就是介绍常见的优化算法，如mini-batch、momentum、RMSprop、Adam，最后再介绍下局部最优与鞍点的概念。2.1 mini-batch gradient descentbatch VS mini-batch gradient descent 向量化操作使得我们可以同时处理m个样本，但是当m很大时，

tf.add_to_collection(‘list_name’, element)：将元素element添加到列表list_name中tf.get_collection(‘list_name’)：返回名称为list_name的列表tf.add_n(list)：将列表元素相加并返回例子：import tensorflow as tftf.add_to_collection('losses',

本周的内容主要是关于目标检测。这是计算机视觉的领域之一，近几年发展迅猛。在学习目标检测之前，我们首先要学习目标定位。3.1 Object localization目标定位图像分类：算法遍历图像，然后告诉我们图像中是否有car；classification with localization：不光要告诉我们是否有car，还要将car框出来；detection：当图片中有多个目标时，就要将图像中所

本周涉及数据集划分、偏差-方差、正则化、dropout、归一化输入、梯度消失与爆炸、权重初始化、梯度检验等内容。1.1 train / dev / test 训练集、验证集、测试集训练集 training set：是用来训练模型的 验证集 development set \ dev set：是用来选出哪个模型在dev set上表现最好 测试集 test set：用来对验证选出的模型