iCode_girl的博客

12

Outline Classic networks： LeNet-5 AlexNet VGG ResNet Inception 1. 经典的卷积网络 LeNet-5： LeNet-5主要是针对灰度设计的，所以其输入较小，为 32\times32\times1 ，其结构如下： 在LetNet中，存在的经典模式： 随着网络的深度增加，图像的大小在缩小，与此同时，通道的数量却在增加； 每个卷...

1. 人脸识别 人脸验证和人脸识别 人脸验证（Verification）： Input：图片、名字/ID； Output：输入的图片是否是对应的人； 1 to 1 问题。 人脸识别（Recognition）： 拥有一个具有K个人的数据库； 输入一副人脸图片； 如果图片是任意这K个人中的一位，则输出对应人的ID。 人脸识别问题对于人脸验证问题来说，具有更高的难度。如对于一个验证系统来...

第一部分 人脸识别 1. 将人脸图像编码为128位的向量

1. 序列模型的应用 语音识别：将输入的语音信号直接输出相应的语音文本信息。无论是语音信号还是文本信息均是序列数据。 音乐生成：生成音乐乐谱。只有输出的音乐乐谱是序列数据，输入可以是空或者一个整数。 情感分类：将输入的评论句子转换为相应的等级或评分。输入是一个序列，输出则是一个单独的类别。 DNA序列分析：找到输入的DNA序列的蛋白质表达的子序列。 机器翻译：两种不同语言之间的想换转换。输入和输...

1. 目标定位和特征点检测 图片检测问题： 分类问题：判断图中是否为汽车； 目标定位：判断是否为汽车，并确定具体位置； 目标检测：检测不同物体并定位。 目标分类和定位： 对于目标定位问题，我们卷积神经网络模型结构可能如下： 输出：包含图片中存在的对象及定位框 行人，000 or 111； 汽车，000 or 111； 摩托车，000 or 111； 图片背景，000 or 111； 定位...

Task： 学习使用YOLO算法进行对象识别。 输入图像为(608,608,3) 输入的图像先要通过一个CNN模型，返回一个(19,19,5,85)的数据。 在对最后两维降维之后，输出的维度变为了(19,19,425): 每个19x19的单元格拥有425个数字。 425 = 5 x 85，即每个单元格拥有5个锚框，每个锚框由5个基本信息+80个分类预测构成。 85 = 5 + 80，...

week1. 卷积神经网络基础 课程： 边缘检测示例； padding： 为什么需要填充； 填充的两种方式； 卷积步长； 立体卷积； 过滤器的维度； 卷积后维度的计算； 池化层： 最大池化； 平均池化； LeNet5 实例 使用卷积的好处； 编程作业： 原生代码实现卷积神经网络的一些模块： 卷积模块： 使用0扩充边界； 卷积窗口； 前向卷积； 反向卷积（可选，暂时没看）； ...

week2. 神经网络基础 课程 logistic regression 用于二分类的监督问题； sigmoid函数的引入；（梯度消失问题） loss 是在单个样本上定义的，衡量了算法在单个样本上的表现，LR loss函数的详细解释； cost 衡量参数在全体样本上的表现，是所有样本的loss和； 学习的目的是找到最优参数使cost最小； 梯度下降（前向传播，反向传播，更新参数）； m个样本的...

week1. 深度学习的实用层面 课程 数据集的划分：从小数据集到大数据时代； 偏差和方差：如何衡量；如何应对； 正则化项 logistic regression； 神经网络中； 计算代价函数和梯度； 为什么正则化项可以减少过拟合； dropout 作用； 反向随机失活； dropout缺点； 正向传播和反向传播时都需要用； 其它正则化方法： 数据增强； early stoppin...

1. 计算机视觉 计算机视觉（Computer Vision）包含很多不同类别的问题，如图片分类、目标检测、图片风格迁移等等。 对于小尺寸的图片问题，也许我们用深度神经网络的结构可以较为简单的解决一定的问题。但是当应用在大尺寸的图片上，输入规模将变得十分庞大，使用神经网络将会有非常多的参数需要去学习，这个时候神经网络就不再适用。 卷积神经网络在计算机视觉问题上是一个非常好的网络结构。 2. 边缘...

Task : 实现一个三层的TensorFlow神经网络：LINEAR->RELU->LINEAR->RELU->LINEAR->SOFTMAX。 详见：https://blog.youkuaiyun.com/u013733326/article/details/79971488 还有些地方没搞懂，假装自己完成了，向04. 卷积神经网络出发！！！ ...

Task: 1. 神经网络的底层搭建 实现一些模块的函数功能： 卷积模块 使用0扩充边界 np.pad函数，没太明白二维以及更高维的填充原理，但是只填充一个数的时候，计算出维度就好了。 卷积窗口 前向卷积 反向卷积（可选）没看。。。 池化模块 前向池化 和前向卷积的步骤基本一样，最后的运算函数不同。 创建掩码 值分配 反向池化（可选）没看。。。 2. 使用Tensorflow实现卷...

2.1 二分类问题 1. 两个问题 实现神经网络如果遍历训练集，不需要用for循环； 为什么神经网络的计算过程可以分为前向传播和后向传播； 2. 给出几个符号及含义 样本(x,y)(x,y)(x,y)，训练样本包括m个； x∈Rnxx∈R^{n_{x}}x∈Rnx​，表示样本x包含nxn_{x}nx​个特征（hight * width * channel）； y∈(0,1)y∈(0,1)y∈...

1. 任务 用一个隐含层的神经网络实现一个二分类。 利用非线性的激活函数单元。 计算交叉熵损失函数。 实现向前传播和向后传播。 2. 网络结构 3. 建立神经网络的方法 定义神经网络的结构（输入层，输出层，隐含层个数）。 初始化模型参数。 循环： —实现向前传播。 —计算损失函数。 —为了得到梯度值，实现向后传播。 —更新参数（梯度下降） 4. 代码 import numpy as np...

Part 1：Python Basics with Numpy (optional) 1. Building basic functions with numpy 1.1 Sigmoid function，np.exp() exe. Build a function that returns the sigmoid of a real number x. Use math.exp(x) for t...

4.1 矩阵的维数 DNN结构示意图： 对于第 lll 层神经网络，单个样本及各个参数的矩阵维度为： W[l]：(n[l],n[l−1])W^{[l]} ： (n^{[l]},n^{[l-1]})W[l]：(n[l],n[l−1]) b[l]：(n[l],1)b^{[l]} ： (n^{[l]},1)b[l]：(n[l],1) dW[l]：(n[l],n[l−1])dW^{[l]} ： (n^...

任务 分割数据集 优化梯度下降算法： 不使用任何优化算法 mini-batch梯度下降法 使用具有动量的梯度下降算法 使用Adam算法 详见吴恩达深度学习编程作业中文版连载笔记： https://blog.youkuaiyun.com/u013733326/article/details/79907419 笔记太好，没有改写的欲望。 ...

初始化： def initialize_parameters_deep(layers_dims): """ 参数： layers_dims: 包含网络中每个图层的节点数量的列表 返回： parameters: 包含参数“W1”,"b1",...,"WL","bL"的字典 “Wl”：权重矩阵，维度为[layers_dims[l], ...

1 初始化参数 尝试了三种初始化方法，比较分类和代价函数变化。 全部初始化为0 parameters['W' + str(l)] = np.zeros((layers_dims[l], layers_dims[l - 1])) 算法性能差，运行过程中成本没有真正降低。 分类失败，该模型预测每个都为0。通常来说，零初始化都会导致神经网络无法打破对称性，最终导致的结果就是无论网络有多少层，最终...

1

1. mini-batch 梯度下降算法 在对整个训练集执行梯度下降法时，每进行一步梯度下降法都必须处理整个训练集。训练集很大的时候，如有500万或5000万训练数据时，处理速度就会比较慢。 如果每次处理训练数据的一部分，即用其子集进行梯度下降，则我们的算法速度会执行的更快。而处理的这些一小部分训练子集即称为Mini-batch。 1.1 算法原理： 对于普通的梯度下降法，一个epoch只能进行...

内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理的时间内完成自我学习。 1.1 训练、验证、测试集 应用型机器学习是一个高度迭代的过程。创建高质量的训练集，验证集和测试集可以提高迭代的速度。我们通常将训练数据划分为三部分： 训练集：用训练集对算法或模型进行训练过程。 （交叉）验证集：交叉验证，选择模型。 测试集：选定模型后，在测试集进行评估，获得模型运行的无偏...

week1. 循环序列模型 编程作业 搭建RNN RNN单元； RNN的前向传播； LSTM LSTM单元 LSTM的前向传播 RNN生成恐龙名字 写出莎士比亚风格文字 最后的生成爵士乐没看。。。算是完结了吧。。 ...