fxlou的博客

名词解释 1. 输入空间：所有输入可能取值的集合，{X" role="presentation">XXX}； 2. 输出空间：所有输出可能取值的集合，{Y" role="presentation">YYY}； 3. 假设空间：由输入空间到输出空间的所有可能的映射的集合，       可以为决策函数的集合：F={f|Y=f(x)}" role="presentation">F={f|Y=f(

0. 概述 分类与回归树（classification and regression tree, CART）模型由Breiman等人在1984年提出，是应用广泛的决策树学习方法，既可以用于分类也可以用于回归。 CART是在给定输入随机变量XXX条件下输出随机变量YYY的条件概率分布的学习方法。主要由以下两步组成： （1）决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大。 （2）决...

1. ID3算法 ID3算法的核心是在决策树各个节点上应用信息增益准则选择特征，递归地构建决策树。 具体方法是： 从根节点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子节点；再对子节点递归地调用以上方法构建决策树；直到所有的信息增益均很小或没有特征可以选择为止。最后得到一个决策树。ID3相当于用极大似然法进行概率模型的选择。2. ...

特征选择特征选择就是选取对训练数据具有分类能力的特征，这样可以提高决策树学习的效率。通常特征选择的准则是信息增益或信息增益比。 1. 熵和条件熵在信息论与概率统计中，熵（entropy）是表示随机变量不确定性的度量。 设XXX是一个取有限个值的离散随机变量，其概率分布为 P(X=xi)=pi,i=1,2,...,nP(X=xi)=pi,i=1,2,...,nP(X=x_i)=p_i,...

0.简介决策树是一种基本的分类与回归方法。决策树呈树形结构，分类问题的决策树可以认为是if-then规则地集合，也可以认为是定义在特征空间和类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快，学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对于新的数据，利用决策树模型进行分类。决策树学习通常分为3个步骤：特征选择、决策树的生成和决策树的修剪。1.决策树...

1.1 为什么要选择ML策略 当你想要对一个神经网络模型进行改进时，调整方法可能会很多，比如： 1.扩增训练集的数目 2.增加训练集的多样性 3.用梯度下降法训练模型更长的时间 4.尝试新的梯度下降法策略，比如Adam 5.增大或减小网络规模的大小 6.尝试dropout 7.填加L2L2L2正则化 8.改变网络的算法结构，例如改变激活函数、改变隐藏节点的数目等。如果按照不合...

1.1 训练/开发/测试集 在构建一个机器学习模型时，需要将数据分配为训练（training）集、开发（development）集、测试集（test）集，合理的分配将会显著提高模型训练的效率。 图1 训练/开发/测试集分配 如图1所示，训练集用于开展对模型的训练，开发集用于选择最好的模型，当模型确定好以后，在测试集上来进行无偏评估。在机器学习时代，常见的数据划分做法是训练集70%测试集30%...

3.1 神经网络概览 第2周的课程重点讲解了logistic回归模型，这周开始学习神经网络模型。神经网络的原理与logistic类似，只不过节点更多，且会重复多层。 图1 logistic模型和神经网络模型图1上面两个图是logistic模型，样本数据x1,x2,x3x1,x2,x3x_1,x_2,x_3输入到一个节点中，前向传播分别计算z,az,az,a以及损失函数L(a,y)L(a...

4.1深层神经网络 图1 不同深度的神经网络 图1是神经网络从浅层到深层的过渡过程，logistic回归过程可以看作单层的神经网络，2层或3层神经网络是较浅层的神经网络，最后一个神经网络层数已经达到6层，可以认为是深层的神经网络。 图2 深层神经网络中的符号 n[l]n[l]n^{[l]}表示第lll层的节点数，a[l]a[l]a^{[l]}表示第lll层的活化值，w[l]w[...

1.2 什么是神经网络 本节从房价预测的例子讲起，如图1所示。 图1 房屋价格预测模型—单个神经元 已知几组房屋面积和价格之间的对应关系，想要构建一个根据房屋面积预测房屋价格的模型。最简单的模型是用一条直线进行拟合，由于房价不能为负数，所以在负值阶段取0值，这就是著名的”ReLU”函数。以上构建出的模型就是一个最简单的神经元（neuron）模型：给定一个输入x（房屋面积），喂给神经元后...

2.1 二分分类 二分分类问题是根据输入XXX来判断其是否属于某种类型，用1和0来表示。 图1 判断图片中是否有猫的二分类问题 图1为一个典型的二分类问题。输入为一张RGB图片的三个通道亮度值，将这三个通道的亮度值依次排列出来构成了输入XXX，目标是判断图片中是否有猫，用输出y=1y=1y=1或000来表示。当输入图片数量为m个，纬度为nxnxn_x时，X∈Rnx×mX∈Rnx×mX\i...

1.1 计算机视觉 本节介绍了深度学习在另一个重要领域的应用：计算机视觉(Computer Vision)。列举了三个典型的使用案例：图像分类、目标识别以及图片的风格转换。由于全连接神经网络在直接处理图片样本时，输入空间的纬度太大，会造成模型参数数量太大，很难获得足够的样本数据来防止模型过拟合，另外，巨大的模型也会过度占用内存，成本过高。最后，引出了卷积神经网络的概念，这种包含卷积处...

3.1 调试处理 在训练神经网络模型时，超参数的选取是一个非常麻烦且费时的过程。主要的超参数包括： 1.α 1.α 1.\alpha\ 学习率 2.β1 momentum2.β1 momentum2.\beta_1\ momentum梯度下降法参数 3.#hiddien units 3.#hiddien units&n...

2.1 进行误差分析 如果你构建的神经网络模型不能达到人类的水平，你可以手工查看模型错误的地方，这有助于你确定下一步如何进行改进。例如在猫的二分类模型中，出现了不少把狗认为是猫的错误判断，那么是不是应该建立一个专门判别狗的模型或者在训练集中增加狗的图片来减少把狗的错判率呢？可以这样做，找出100个错误判断的训练集，看里面有多少个是狗的图片，如果狗的图片只占5%，那么即使你专门针对狗的分类...

第 1 门课程：神经网络和深度学习（Neural Networks and Deep Learning）第一周 深度学习概论（Introduction to deep learning） 学习驱动神经网络兴起的主要技术趋势，了解现今深度学习在哪里应用、如何应用。1.1 欢迎来到深度学习工程师微专业（Welcome） 1.2 什么是神经网络？（What is a neural net...