凝望，划过星空的博客

@[1. 为什么是ML策略？优化神经网络的思路： 收集更多的数据集Collect more data 收集更多样性的数据集Collect more diverse training set 使用梯度下降法再训练久一点Train algorithm longer with gradient descent 尝试使用的新的优化算法，比如说Adam算法Try algorithm longe...

文章目录1. 初始化变量(initialize W and b)涉及到的Tensorflow语法：(1) tf.get_variable()用法(2)Tensorflow中关于矩阵初始化的一些方法2. 前向传播函数(forward_prop)涉及到的Tensorflow语法：(1)tf.matmul，tf.add(2)Tensorflow中使用激活函数3.计算损失compute cost涉及到的T...

文章目录1. 调试处理2.为参数选择合适的范围2.12.2 从粗略到精确的选择2.3 如何使用合理的范围1. 调试处理首先，我们先列举部分我们常见的超参数：学习率α动量梯度下降因子βAdam算法的三个超参数β1,β2,εβ_1,β_2,εβ1​,β2​,ε2.为参数选择合适的范围2.12.2 从粗略到精确的选择2.3 如何使用合理的范围...

文章目录1. 算法之前的预备知识1.1 指数加权平均1.2 深入理解指数加权平均1.3 指数加权平均的偏差修正2. 优化算法2.1 动量梯度下降法2.1.1 动量梯度下降法的代码实现2.2 RMSprop2.2.1RMSprop的代码实现2.3 Adam优化算法2.3.1 Adam优化算法的代码实现1. 算法之前的预备知识1.1 指数加权平均我们先通过吴恩达老师课程中的一个实例来直观理解什么...

文章目录1.1 mini-batch梯度下降法1.1.1 mini-batch算法的基本思路1.1.2 更好地理解mini-batch算法1.1.3使用mini-batch算法的实例在本周的学习笔记中，我将会记录一种常用的优化算法，用于加速神经网络的训练1.1 mini-batch梯度下降法1.1.1 mini-batch算法的基本思路当我们的样本数量巨大的时候，如果我们还是使用之前的梯度...

1.1 梯度消失与梯度爆炸我们知道，对于神经网络变量的优化是非常重要的一步，也是我们的神经网络能否正常学习的关键之一，但是，不知道大家一开始写代码的时候有没有遇到过这样的情况：第100次迭代，成本值为：nan第200次迭代，成本值为：nan第300次迭代，成本值为：nan第400次迭代，成本值为：nan第500次迭代，成本值为：nan第600次迭代，成本值为：nan第700次迭代，...

文章目录1.1训练/开发/测试集的基本概念1.2 方差和偏差1.3机器学习基础1.4 正则化1.4.1 过拟合问题1.4.2 Logistic回归中的正则化1.4.3 如何在神经网络中使用正则化？1.4.3 为什么正则化可以减少过拟合？1.4.4 Dropout正则化1.4.4.1理解Dropout正则化1.4.5 其他正则化的方法1.4.6正则化输入1.5 聊聊梯度消失与梯度爆炸1.1训练/开...

说明：本次博文训练所用的数据集依然是之前的用Logistics回归识别猫文章的数据集1.导入必要的库这个就不多说啦，直接上代码：import numpy as npimport h5pyimport lr_utils2.定义激活函数我们打算在所有的隐藏层都使用Relu()函数，最后的输出层使用sigmoid()函数sigmoid函数的数学表达式，图像如下所示：f(Z)=11+...

第一步：为了完成搭建识别猫的这样一个神经网络，我们先看看程序中需要import哪些库：numpy ：是用Python进行科学计算的基本软件包h5py：是与H5文件中存储的数据集进行交互的常用软件包matplotlib：是一个著名的库，用于在Python中绘制图表lr_utils ：在本文的资料包里，一个加载资料包里面的数据的简单功能的库import numpy as npimpo...

2.1 着手计算深度神经网络2.1.1深度神经网络的前向传播计算过程我们先以下面这个三层的神经网络为例（虽然称不上真正的“深层”，但是计算方法已经和深层的差不多了），对于这个神经网络，每一个样本中都包含六个特征，有两个hidden layer，一个output layer我们先来看看一个样本的情况：$\begin{cases}...