赵广陆

目录1 RNN2 编程实验1 RNN上节课我们利用词嵌入把句子转化为词向量序列的详细过程，但忽略了语言数据在时间上的关联性，这节课来让我们的神经网络具有处理这种关联的能力我们不考虑预处理这一过程，假设都已经处理成了合适的300维词向量，现在我们开始改造一下神经网络的工作模式：我们将每次的输出值保存起来，与下一个词向量一起作为下一次的输入，直到得到最后的预测输出。

目录1 序列2 代码实现1 序列数据除了在空间上可能出现关联性外，也可能在时间上，比如一段语音、一段文字：在这里插入图片描述在这里插入图片描述所以面对这样在时间上有关联性的数据，神经网络该如何去识别和处理呢？我们以文字举例，假如这是某个视频的评论：

目录1 卷积运算2 LeNet-5网络1 卷积运算这节课我们来看如何把卷积运算融入到神经网络中，我们还是以上节的“5”为例：在这里插入图片描述这是一张 8 * 8 的灰度图，用一个 3 * 3 的卷积核对它进行卷积，输出一个 6 * 6 的结果，我们把这个做卷积运算的一层称为卷积层。卷完以后我们把结果拆成一个数组，送入到后面的全连接层神经网络中。

目录1 手写体识别2 炼丹1 手写体识别在机器学习、神经网络领域，有一个应用层的经典“Hello World”：手写体识别，于是它成为了众多入门者的实践项目。

目录1 调参2 炼丹1 调参今天我们以著名的Tensorflow游乐场为例，体验“调参侠”的“快乐”！

目录1 矩阵、向量2 Keras3 代码实现1 矩阵、向量在之前我们都是将每个元素做运算，这样做看着费时费力，现在我们从万物皆向量的角度重新看待这个问题，用向量的运算去表示线性函数。

目录1 维度2 代码实现1 维度如果我们判断一个人是否会打篮球，仅仅通过身高角度显然是不合理的，我们还需要从其他角度分析，比如体重、身体灵活性以及是否经常见到凌晨四点钟的太阳等等因素。同样在豆豆的世界，豆豆的毒性不仅与大小有关，还可能与颜色深浅、软硬等有关

目录1 神经网络拟合复杂函数2 隐藏层介绍3 代码实现1 神经网络拟合复杂函数大自然总是变化莫测，小蓝所在海底的生物们也经历了巨大的进化，豆豆的毒性与大小关系变得不再那么的简单，想要预测他们，只能靠一些不那么单调的函数：机器学习的局限性

目录1 分类2 函数求导进行求解出最小代价函数3 代码实现1 分类人在思考的过程中，往往不会产生精确的数值估计，而常做的事情是分类。但是这种阶跃函数就不能拟合出一条回归的直线了，这么画都感觉误差很大

目录1 梯度下降2 学习率3 反向传播1 梯度下降梯度下降法主要用于单个参数的取值。假如损失函数是一座山，我们从山上一个任意点开始往山下走，山坡的坡度越大，我们的垂直高度下降的越快。当我们到达某一个点是，我们往任意方向前进多都会升高使，我们就到达了最低点。准确来说是局部最低点。但是如果损失函数是个凸函数，那么这个局部最优解就是整体最优解。

目录1 如何评估误差？2 概率和统计3 如何挪动到最低点？4 代码实现1 如何评估误差？1、通过差值来评价误差 => 正负会抵消误差，使用绝对差 => 代码不好处理2、使用平方误差，平方误差越小就说明偏离的事实就越小，小蓝的思考就越接近真相

目录1 Rosenblatt感知器模型介绍2 Rosenblatt感知器应用3 Rosenblatt感知器流程3.1 模型的算法调整3.2 当输入X为负数时3.3 当W调整过大时4 线性回归问题应用1 Rosenblatt感知器模型介绍1958年，一名叫做Rosenblatt的心理学家在McCulloch-Pitts模型的基础上提出了Rosenblatt感知器模型（第一个从算法上完整描述的神经元模型）。这个模型实现了神经元自主调整参数。

目录1 McCulloch-Pitts模型2 应用场景3 实现原理1 McCulloch-Pitts模型1943年，神经学家McCulloch和数学家Pitts共同提出了McCulloch-Pitts模型，这个模型是对生物神经元的一种相当简化的模仿。这个模型认为，树突输入的电信号相当于函数中的自变量，轴突输出的电信号相当于函数中的因变量，一个神经元有几个树突，表征这个神经元直觉活动（意识是人脑特有的机能，故此处不用高级的意识活动，而使用更加原始的直觉活动）的数学函数也就有几个自变量。

目录1 CNN网络的构成2 卷积层2.1 卷积的计算方法2.2 padding（填充）2.3 stride（步长）2.4 多通道卷积2.5 多卷积核卷积2.6 特征图大小3 池化层(Pooling)3.1 最大池化3.2 平均池化4 全连接层5 卷积神经网络的构建5.1 数据加载5.2 数据处理5.3 模型搭建5.4 模型编译5.5 模型训练5.6 模型评估6 总结

目录1 数据加载2 数据处理3 模型构建4 模型编译5 模型训练6 模型测试7 模型保存8 总结1 数据加载案例的实现流程：使用手写数字的MNIST数据集如上图所示，该数据集包含60,000个用于训练的样本和10,000个用于测试的样本，图像是固定大小(28x28像素)，其值为0到255。

目录1 L1与L2正则化2 Dropout正则化3 提前停止4 批标准化5 总结1 L1与L2正则化在设计机器学习算法时不仅要求在训练集上误差小，而且希望在新样本上的泛化能力强。许多机器学习算法都采用相关的策略来减小测试误差，这些策略被统称为正则化。因为神经网络的强大的表示能力经常遇到过拟合，所以需要使用不同形式的正则化策略。

目录1 梯度下降算法2 反向传播算法（BP算法）2.1 前向传播与反向传播2.2 链式法则2.3 反向传播算法3 梯度下降优化方法3.1 动量算法（Momentum）3.2 指数加权平均3.3 动量梯度下降算法3.4 AdaGrad3.5 RMSprop3.6 Adam4 学习率退火4.1 分段常数衰减4.2 指数衰减4.3 1/t衰减5 总结

目录1 分类任务1.1 多分类任务1.2 二分类任务2 回归任务2.1 MAE损失2.2 MSE损失2.3 smooth L1 损失3 总结1 分类任务在这里插入图片描述在深度学习中, 损失函数是用来衡量模型参数的质量的函数, 衡量的方式是比较网络输出和真实输出的差异，损失函数在不同的文献中名称是不一样的，主要有以下几种命名方式

目录1 heartpy介绍2 使用Pands读取数据2.1 数据说明2.2 心电图的绘制3 心电滤波4 心电特性数据读取处理1 heartpy介绍该库提供了处理以下几种信号的方法：来自智能手表和智能手环的常规PPG信号和常规（或含噪）ECG信号，具体可查看文档，文档地址

目录1 神经网络的搭建1.1 通过Sequential构建1.2 利用function API构建1.3 通过model的子类构建2 神经网络的优缺点2.1 优点2.2 缺点3 总结1 神经网络的搭建接下来我们来构建如下图所示的神经网络模型：

目录1 激活函数1.1 Sigmoid/logistics函数：1.2 tanh(双曲正切曲线)1.3 RELU1.4 LeakReLu1.5 SoftMax1.6 其他激活函数1.7 如何选择激活函数1.7.1 隐藏层1.7.2 输出层2 参数初始化2.1 随机初始化2.2 标准初始化2.3 Xavier初始化2.4 He初始化1 激活函数人工神经元接收到一个或多个输入，对他们进行加权并相加，总和通过一个非线性函数产生输出。

目录1 深度学习简介2 神经网络介绍1 深度学习简介在介绍深度学习之前，我们先看下这幅图：人工智能>机器学习>深度学习深度学习是机器学习的一个子集，也就是说深度学习是实现机器学习的一种方法。与机器学习算法的主要区别如下图所示：

目录1 快速入门模型2 相关的库的导入3 数据展示和划分4 sklearn实现5 tf.keras实现6 总结1 快速入门模型机器学习鸢尾花数据集分析:https://blog.youkuaiyun.com/ZGL_cyy/article/details/126924746机器学习k近邻算法鸢尾花种类预测:https://blog.youkuaiyun.com/ZGL_cyy/article/details/126966990我们通过鸢尾花分类案例，来给大家介绍tf.keras的基本使用流程。

目录1 TensorFlow介绍2 TensorFlow的安装3 张量及其操作4 tf.keras介绍5 总结1 TensorFlow介绍深度学习框架TensorFlow一经发布，就受到了广泛的关注，并在计算机视觉、音频处理、推荐系统和自然语言处理等场景下都被大面积推广使用，接下来我们深入浅出的介绍Tensorflow的相关应用。

目录1 深度学习概述1.1 什么是深度学习1.2 发展历史2 计算机视觉（CV）2.1 计算机视觉定义2.2 常见任务2.3 应用场景2.3.1 人脸识别2.3.2 视频监控2.3.3 图片识别分析2.3.4 辅助驾驶2.4 发展历史