- 博客(28)
- 收藏
- 关注
RSS订阅原创 YOLO算法的发展历程
一 目标检测问题目标检测问题是模式识别问题的一种，它主要解决从图像中获取需要的物体类型以及位置的问题，输入一幅图像或者一帧视频，要输出图像中要求物体的类别和位置，其中的位置通常用一个框标记出来。在研究目标检测问题时，通常只考虑感兴趣的物体，比如人脸检测检测人脸，交通检测检测车辆等，而例如建筑物，天空之类的则不在考虑范围之列。二 设计思想目标检测有两种实现，一种是one-stage,另一种是two-stage，它们的区别如名称所体现的，two-stage有一个region proposal过程，可
2021-09-05 19:06:48
19334
4
原创 第四章 人脸识别与神经风格迁移
目录1One Shot学习2Siamese网络1Siamese网络模型2Triplet损失3 二分类3 风格迁移1 风格迁移概念2 代价函数3 内容代价函数4 风格代价函数人脸验证：输入一张人脸图片，验证输出是否和模板是一个人，属于一对一问题人脸识别：输入一张人脸图片，验证输出是否是K个模板中的一个，属于一对多问题人脸识别由于分别与K个模板比较，其错误率会相应增加，模板越多，错误率越高。1One Shot学习One-sho学习就是说训练...
2021-07-17 01:08:20
360
原创 第三章 目标检测
目录1 目标定位2 特征点检测3 目标检测4 滑动窗口的卷积实现1 单个滑动窗口的卷积2 YOLO算法3 交并比4 YOLO算法-极大值抑制5 YOLO算法-多目标重叠情况5 候选区域1 目标定位目标检测的目标不同于前面几章的判断问题，我们不仅需要判断还需要确定物体的位置。标准的CNN分类问题可以帮助我们判断图中是否有某个物体原始图片经过卷积层后,softmax层会输出4 x 1向量来给出判断，但目标定位问题并不仅限于此我们首先给出规定
2021-07-16 23:26:21
727
2
原创 第二章 深度卷积模型：案例研究
目录1 典型网络模型2 残差网络1 残差网络结构2 残差网络原理3 网络中的网络和1×1卷积4Inception网络5 数据增强本章将会介绍几个典型的卷积神经网络模型来帮助我们加深对知识的了解。1 典型网络模型LeNet-5提出于1998年，它是第一个成功应用于数字识别问题的卷积神经网络。上图展示了LeNet-5模型的结构，其顺序一般是CONV layer->POOL layer->CONV layer->POOL layer->..
2021-07-16 19:16:52
250
原创 第一章 卷积神经网络基础
目录1 边缘检测2 padding3 卷积步长4 三维卷积5 单层卷积神经网络6 池化层7 卷积神经网络范例计算机视觉是深度学习应用的主要方向之一，一般的CV问题包括三类：图像分类，目标识别记忆风格转换，传统神经网络处理CV问题时网络权重W非常大，会造成神经网络结构复杂，易过拟合，同时所需的内存计算量极大，解决方法就是使用卷积神经网络。1 边缘检测神经网络解决CV问题实际上就是从浅层到深层，先检测边缘特征，局部特征，然后检测出整体面部轮廓的过程。常见的图片边缘有两
2021-07-16 17:48:51
336
原创 机器学习策略
在得到一个基础的神经网络模型后，我们需要寻找各种方法来优化它，因此我们需要机器学习策略来优化我们的模型。1 正交化在机器学习中有很多参数，超参数需要调试，每次只调试一个参数，保持其他参数不变，从而使模型性能改变，这一方法被称为正交化方法。通常情况下，我们希望机器学习系统达到以下四个要求：在训练集上获得优秀的结果 在验证集上获得优秀的结果 在测试集上获得优秀的结果 在测试集上的成本函数在实际应用中令人满意以上第一个要求可以通过使用更复杂的算法实现，第二个可以通过正则化等手段实现，第三条
2021-07-14 13:27:17
1049
原创 第三章 超参数调试、Batch正则化和编程框架
1 超参数调试处理1 选择超参数在神经网络中要调试的超参数有很多，包括学习因子，动态梯度下降因子,Adam算法参数，神经网络层数，隐藏层神经元个数，学习因子衰减参数，mini-batch参数等。一般来说学习因子是最重要的参数，动态梯度下降因子，各隐藏层神经元个数和mini-batch参数排在第二，然后是神经网络层数和学习因子衰减参数。要如何选择和调试超参数？这个问题在传统机器学习中，一般对每个参数等距离选择任意个数的点，然后分别使用不同的点对应的参数组合进行训练，根据验证集上的表现来决定最...
2021-07-13 23:30:36
232
1
原创 第一章 机器学习的实用层面
1 训练集验证集和测试集在构建神经网络时，我们需要设置很多参数，但我们无法在构建之始就获得最佳的参数，为了获得这些参数，我们需要不断进行迭代更新：首先利用初始参数构建一个神经网络模型，然后通过代码实现这个神经网络，最终通过实验验证这些参数构成的神经网络的性能，根据结果对参数进行优化更新，然后进行下次循环，最终得到最优解通常我们会把整个样本数据集分成三部分，训练集，用来训练模型；验证集，用来验证不同算法的表现情况；测试集，用来作为算法的无偏估计。在数据量较少，如100，1000，10000时，可.
2021-07-12 23:36:12
218
1
原创 第三章 深层神经网络
目录1 深层神经网络2 深层神经网络的正向传播3 深度神经网络的反向传播4 参数和超参数1 深层神经网络深层神经网络就是包含更多隐藏层的神经网络 ，一般来说我们在命名神经网络时，层数只参考隐藏层和输出层，下面引入一个四层神经网络的例子。上图有三个隐藏层，每层的神经元数目分别为5，5，3。用L表示层数，用0表示输入层，则L=4，则有。2 深层神经网络的正向传播假设存在m个训练样本，其向量化迭代过程如下所示：第一层：l=1:第二层：l=2:第三层.
2021-07-09 00:30:05
234
原创 第二章 浅层神经网络
1 神经网络概述在上一章的学习中我们了解了逻辑回归，实际上逻辑回归就是一个最简单的神经网络模型，这里我们将学习具有隐藏层的神经网络，具体而言就是我们在输入层和输入层中增加了一个隐藏层，从计算的角度而言，就是在逻辑回归的正向和反向传播过程中增加了一次重复的运算。上图的正向传播过程分为两层，第一层是输入层到隐藏层，用右上角的[1]表示层数： 第二层是隐藏层到输出层： 类似于逻辑回归，我们需要通过反向传播计算参数，其流程如下所示2 神经网络的正向传播过程1 单个...
2021-07-08 22:45:17
394
1
原创 第一章 神经网络基础
1Logistic回归1 二分类及符号引入Logistic回归是一种用于二分类的算法，以特征向量为输入，输出预测结果y的值为0或1的问题被称为二分类问题，下面先引入一些符号以方便后面的学习：: 表示一个维数据，作为输入数据，维度为;: 表示输出结果，取值为0，1之间的一个;:表示第i组样本数据，有可能是训练集，也有可能是测试集，但是学习时默认是训练集;: 表示所有训练集数据的输入值，放在一个的矩阵中，其中m为样本数目;: 表示对应所有预测结果的输出值，维度为。我们的样本数..
2021-07-03 21:24:36
206
2
原创 第十九章 应用举例：照片OCR
目录1 问题描述与 OCR pipeline2 滑动窗口3人工合成数据4天花板分析：下一步工作的 pipeline1 问题描述与 OCR pipelineOCR问题的任务是从一张给定的图片中识别文字，为了完成这项任务有如下步骤要完成：、从左至右依次是文字侦测，字符切分，字符分类。2 滑动窗口滑动窗口是一项从图像中抽取对象的技术，首先用许多固定尺寸的图片来训练一个能够准确识别行人的模型，然后用用之前训练识别行人的模型时所采用的图片尺寸在要进行人识别的图片上进...
2021-06-30 01:15:20
130
原创 第十八章 大规模机器学习
目录1 学习大数据集2 随机梯度下降3Mini-Batch小批量梯度下降4随机梯度下降收敛5在线学习算法6 减少映射与数据并行1 学习大数据集在机器学习中，通常情况下，决定因素往往不是最好的算法，而是谁的训练数据最多。如图所示，当数据量达到一亿时需要很久才能进行梯度下降，上图显示了大数据对于偏差有帮助，对方差帮助较少。因此我们需要找出合理的算法来处理大数据集。2 随机梯度下降随机梯度下降算法不需要处理所有训练样本，我们每次迭代只考虑一个训练样本。...
2021-06-30 01:01:54
133
原创 第十七章 推荐系统
1 引入问题在这个例子里，我们假设每个电影有两个特征，因此n=2,它们组成了一个特征向量。我们对每个用户训练一个线性回归的模型，标记如下
2021-06-30 00:36:46
77
原创 第十六章 异常检测
1 问题动机假设我们有到m个正常样本，现有一个新的样本，我们需要一个新的算法告诉我们这个样本数据是否是异常的，我们采用的方法是，给定无标签训练集，我们对数据进行建模，换而言之，建立一个x的概率模型，对于一个新的样本，如果概率低于阈值就是异常。2 高斯分布（正态分布）假如变量x服从正态分布，那么我们表示。分布为：正态分布的参数μ，σ^2计算方法如下所示：3 算法根据高斯分布，我们引入了异常检测算法：根据数据集，计算每个特征的估计值，一旦获得，根据给定的新..
2021-06-30 00:08:59
116
原创 第十五章 降维
1 数据压缩上一章中我们学习了聚类算法，这一章中我们要学习第二类无监督学习问题，降维。降维的定义：样本由一个个特征组成，假如一个样本有n个特征，则我们称数据是n维的。降维的工作就是在保证数据特征不变的情况下，减少特征的个数，为了保证不变性，我们通常只把多个相似，相关特征合并为1个特征。降维的目的有两个，一是压缩数据：减少了数据量后可以降低存储空间消耗，同时提高计算速度。其二是便于可视化，九维十维无法通过可视化手段展现，但通过降维让维度达到二维三维后就能通过可视化处理进行数据分析了。2 主成分
2021-06-29 22:39:41
169
原创 第十四章 无监督学习
1 无监督学习概述 无监督学习的概念我们在前面已经提到，即我们所获得的训练集样本数据没有标签，只有特征，用图像表示：2 K-Means聚类算法 由于训练集样本数据没有标签，我们需要用算法将数据划分为具有内在关联的子集，也被称之为簇，而划分簇的算法被称之为聚类算法，今天我们学习的K均值算法就是一种具有代表性的聚类算法。 K均值算法的流程如下：...
2021-06-29 18:13:02
158
原创 第十三章 支持向量机
1 优化目标下面我们将介绍一种相较于神经网络，逻辑回归在学习复杂的非线性方程时更加清晰强大的算法，它被称之为支持向量机(Support Vector Machine)。下面将从逻辑回归开始演示支持向量机的推导过程：上图是Logistic回归的代价函数，观察函数我们会发现，每增加一个样本，代价函数都会增加当y=1时，如上图左图所示的增量，图中紫色部分是我们添加的一条类似于Logistic回归的直线，之所以这样做，是为了保证当z>1时预测精度足够高；当y=0时，如上图所示的增量，其
2021-06-29 00:35:26
186
原创 第十二章 机器学习系统设计
目录1 确定执行的优先级2 误差分析3 不对称性分类的误差评估4 精确率和召回率的权衡5 机器学习数据1 确定执行的优先级我们仍旧以之前垃圾邮件分类为例子进行分析，垃圾邮件分类问题是一个监督学习的例子，为了解决这个问题，我们首先要解决的问题是，如何确定问题的特征，如何表示邮件的特征向量x，因为只有通过特征向量和标签我们才能训练一个分类器。我们可以选择一个包含一百个单词的向量，要注意的是这里的向量只表示某个单词的存在与否，却不表示出现次数。然后我们要做的事就是优化我们的
2021-06-28 10:37:11
203
原创 第十一章 应用机器学习的建议
目录1 机器学习诊断2 评估假设过拟合评估假设函数的标准方法3 选择模型和训练验证测试集4 诊断偏差与方差5 正则化，偏差和方差6 学习曲线7 接下来怎么做1 机器学习诊断 当我们将假设函数放在检验集上测试时，发现了很大的偏差，这时，盲目的改正并不是一个合理的做法，通过机器学习性能评估和机器学习诊断可以了解算法在哪里出了问题，以及应当采用何种方式改进算法。2 评估假设过拟合 当一个假设函数的特征参数较少的话，我们可以通过画出函数...
2021-06-28 00:36:08
120
原创 第十章 神经网络参数的反向传播算法
目录1 代价函数2 反向传播算法3 理解反向传播4 梯度检测5 随机初始化6 组合到一起1 代价函数 神经网络一般被定义为两种类型，二元分类和多元分类，假设训练集有m个训练样本，每个包含一组输入输出量x,y。L代表神经网络总层数，在这里设为4层。表示每层的处理单元个数。 上图中左边是二分类问题，即输出层有一个输出神经元；右边为多类别分类问题，也就是说会有K个不同的类，输出为K维向量。 相应于前面的讨论，这里我们要讨论拟合神经网络...
2021-06-27 23:04:43
499
原创 第九章 神经网络学习
1 非线性假设 前几章的学习中，我们对线性回归和逻辑回归有了一个大概的认知，但是在特征非常多的情况下，这两种方法都会存在严重的问题，那就是运算的负荷会变得非常大。 假设仅仅考虑二次项的情况，在极端情况下，设存在100个特征，最终会有5000个项，并且二次项增加的速率是，不仅如此，由于项数过多，甚至会出现过拟合问题，因此，我们需要一种新方法来解决这个问题，也就是人工神经网络。2...
2021-06-27 18:11:03
107
原创 第八章 正则化
1 过拟合什么是过拟合问题 什么是过拟合问题？顾名思义，就是模拟函数过度拟合训练集导致的问题，这会导致所得的函数过于庞大，变量过多，虽然很好的拟合了已有的数据，但是不能很好地预测新数据，不能泛化地适用于新样本，用图像表示这种情况： 以上的第一个函数出现了欠拟合的问题，第二个函数所得的结果相当不错，第三个函数用到了五个参数，变量的最高阶达到了四阶，表面上拟合了所有样本，但是这条曲线上下波动，犯了过拟合的错误。解决过拟合问题 过拟合问题往往出...
2021-06-23 02:04:35
176
原创 第七章 Logistic回归
1 分类问题 在前面几章中我们用线性回归解决了一些问题 在上图的分类中我们以0.5作为阈值，大于等于0.5肿瘤为恶性，反之为良性，但是这种情况并不适用于肿瘤大小继续增加的情况： 这里即使样本中标签只有0和1两个值，但是应用线性回归算法后所得的函数结果很有可能远超0和1之间，为此引入了Logistic回归，它应用的范围就是y的取值只在0，1两个离散值之间。2 假设函数 由于Logistic回归的取值只在0和1之间，因此假设函数的输出变量同样应...
2021-06-23 00:36:56
560
原创 第五章 多变量线性回归
目录1 多元梯度下降法假设函数与代价函数 梯度下降算法特征缩放学习率2 特征选择和多项式回归3 正规方程矩阵不可逆的解决方法正规方程与梯度下降的优劣与取舍多变量线性回归是有多个输入特征量的线性回归问题，其解决思路与单变量线性回归类似。1 多元梯度下降法假设函数与代价函数 首先引入房价预测为例，在第二章中我们采用房屋面积作为特征量，在多变量问题中，我们采用的训练集将房子的大小、房间数、楼层数、房屋年限等特征作为多个特征量，假设函数如下所...
2021-06-22 01:46:09
385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人