yasNing

基于不同优化算法更新神经网络中的参数学习记录自：deeplearning.ai-andrewNG-master一、 优化算法概述1.1 常用优化算法在机器学习或深度学习中，一般采取梯度下降对参数进行优化更新，本文主要讨论Mini-Batch算法、Momentum算法、RMSprop以及Adam算法。1.2 为什么要改进梯度下降对于一个数据量适中的数据集而言，可以直接利用梯度下降或者随机梯度下降(Stochastic Gradient Descent)。此时在整个训练集进行梯度下降优化不会消耗

神经网络中的正则化学习记录自：deeplearning.ai-andrewNG-master在开始之前，先让我们来看看正则化模型与非正则化训练效果。非正则化模型与正则化模型的比较预分类数据非正则化分类结果损失函数迭代图：On the training set(训练集精度）:Accuracy: 0.94On the test set（测试集精度）:Accuracy: 0.91分类决策边界：从分类结果来看测试精度为91%，损失函数优化时存在扰动。从分类决策边界来看，该分类模型过度

深层神经网络模型的搭建学习记录自：deeplearning.ai-andrewNG-masterL层神经网络模型概览该模型可以总结为：[LINEAR -> RELU] × (L-1) -> LINEAR -> SIGMOID。详细结构：• 输入维度为（64,64,3）的图像，将其展平为大小为（12288,1）的向量。• 相应的向量：[x0,x1,…,x12287]T乘以权重矩阵W[1]，然后加上截距b[1]，结果为线性单位。• 接下来计算获得的线性单元。对于每个(W[l

利用含一层隐藏层的神经网络分类二维数据—代码实现学习记录自：deeplearning.ai-andrewNG-master首先导入所需要的包：import numpy as npimport matplotlib.pyplot as pltimport sklearn #机器学习库 包含很多模块函数import sklearn.datasets #datasets方法 提供一些导入、在线下载及本地生成数据集的方法import sklearn.linear_model #l

深度学习入门——基于梯度下降的浅层神经网络分类数据—基本算法模型与数学公式准备学习记录自：deeplearning.ai-andrewNG-master一、浅层神经网络的基本概念1.1 基本术语及运算一个简单的浅层神经网络如下图所示：其中x1、x2、x3所在的层次称为输入层，中间的4个单元组成隐藏层，最右边的一个单元组成输出层，如图所示，y ̂即为该神经网络的输出。上图展示了神经网络在传播时的计算过程，其中以激活函数sigmoid为例，w和b为该神经网络的权重参数。1.2常用的激活函数

深度学习入门——利用梯度下降的logistic回归进行图像识别算法的数学表达式正向传播（损失函数计算）：反向传播（梯度计算）：算法框架其中参数更新依赖于优化函数，目标是通过最小化损失函数J来学习w和b。参数更新规则如下： θ= θ- αdθ 其中α为学习率。标题样本集训练关于logistic参数w和b，实验采用梯度下降的方法，参数学习率（更新率）为0.005，得到了迭代次数和损失函数的关系图如下：通过对样本数据集和测试样本数据集进行预测，发现本模型的预测准确率并不高，最