fansv587的博客

深度学习是表示学习的一个子集，而表示学习是机器学习的一个子集，机器学习又是人工智能的一个子集。（表示学习（Representation Learning）是机器学习中的一个重要领域，它旨在自动从数据中学习到有效的特征表示（也叫特征向量），这些特征能够更好地捕捉数据的内在结构和语义信息，从而提升模型在各种任务上的性能，比如分类、回归、预测等。遗憾的是，下图没有展示表示学习。深度学习使用一个由简单函数构成的‘深度’链，自动从数据中学习特征经典机器学习。

我们将重点关注机器学习的回归和分类的学习模型。示例：模型正在预测边界框（回归）和类别标签（分类）），通过此示例直观地展示了回归和分类在实际应用中的体现，即模型不仅要确定物体的位置（边界框，对应回归问题），还要识别物体的类别（类别标签，对应分类问题）机器学习系统的组成部分机器学习系统通常有四个主要组成部分：从最后的参数估计会反馈回之前的各个部分，即机器学习系统各组件间的反馈调整机制：机械学习算法从数据中学习，在机械学习的回归问题中输出的数据都是连续的。下图一个示例图表，图中标注了一些数据点，如 (x1

在机器学习中，我们希望能够对非线性函数进行建模 —— 深度前馈网络能够实现非线性函数近似基函数扩展（Basis Function Expansion）基函数扩展概念：为了对非线性函数进行建模，我们将输入xxx通过基函数扩展，以创建从特征到输出的线性映射。线性模型：给出线性模型公式yθxy​θx。带基函数扩展的非线性模型：公式为y∑i1nθiϕixy​∑i1n​θi​ϕi​x，其中ϕi\phi_iϕi​是基函数，可被视为一种“特征”。

训练方法：训练深度网络通常基于随机梯度下降及其变体，以提高效率。动量的作用：动量被用于加速学习过程。Adam算法结合了动量和自适应梯度。是当前常用的标准优化方法。批量归一化：用于学习网络中传输数据的归一化，往往能够提高收敛速度。

应用场景：卷积网络用于处理具有网格状结构的数据，如时间序列、图像和视频。卷积层优势：卷积层在计算效率上比全连接层高得多，具体体现在：参数更少：相较于全连接层，卷积层所需的参数数量更少。参数共享：卷积层中参数是共享的，这减少了计算量和模型的参数量。卷积网络特性：卷积网络的先进特性使其在计算上更高效，并且能够构建得更深。这些特性帮助卷积网络在处理相关数据时表现出色，在诸多领域得到广泛应用。

深度学习对计算机视觉产生了重大影响。(a) 图像分类（Image Classification）：对整个图像进行分类，判断图像中是否存在牛这一类别，这里确定图像中有牛。(b) 目标检测（Object Detection）：不仅要检测出图像中是否存在牛，还要用边界框（如红、绿、蓝框）标出每头牛在图像中的具体位置。© 语义分割（Semantic Segmentation）：将图像中的每个像素分配到特定的类别（这里是牛），把图像中属于牛的区域用绿色进行分割标记，不区分具体是哪头牛。

选择超参数有两种基本方法：手动选择或自动选择。手动超参数选择需要使用者对模型或深度学习有更多的了解。自动超参数选择通常需要更多的计算时间。调整模型的有效容量，使其与任务的复杂程度相匹配；在一定的运行时间和内存限制（模型复杂度）条件下，通过找到最低的泛化误差来评判模型性能。

循环网络可以对处理序列数据的系统进行建模，并且具有随时间变化的内部状态和记忆能力。循环网络在捕捉序列数据中不同时间步之间的关系时，计算效率较高。存在多种序列数据问题：多对多I型（一一对应）；多对多II型；多对一；一对多。循环网络通常使用时间反向传播算法（BPTT）进行训练。

简单循环神经网络容易出现梯度消失和梯度爆炸问题。基于长短期记忆网络（LSTM）和门控循环单元（GRU）的门控循环网络能够缓解梯度消失/爆炸问题。门控循环单元（GRU）和长短期记忆网络（LSTM）被广泛应用，而简单循环神经网络（RNN）由于梯度消失/爆炸问题，使用频率较低。

循环神经网络常常被应用于诸如机器翻译、语音识别和语音合成等序列问题中。循环网络的记忆存储于内部状态xtx_txt​中门控循环网络（GRU和LSTM）具备长期记忆能力，而简单RNN只有短期记忆。循环网络单元对比简单RNN（Simple RNN）xttanh⁡Axt−1Butxt​tanhAxt−1​But​用于更新内部状态，结合上一时刻状态xt−1x_{t - 1}xt−1​和当前输入utu_tut​；ytgC。

变换器（Transformer）网络是一种较新的前馈网络，被广泛应用，例如应用于谷歌翻译、谷歌搜索和ChatGPT等。我们更倾向于使用前馈网络而非循环网络，因为前馈网络的训练和实现过程可以并行化。循环网络非常适合处理序列数据，但它们不适合并行实现。本讲将介绍变换器（Transformer）网络，它解决了这个问题！前馈网络可以并行化的原因。

强化学习是一种基于学习的最优控制方式，它在以最大化奖励为驱动的情况下，从状态中获取行动（策略）。我们可以从反馈控制的角度来理解强化学习，其中策略相当于控制律，环境类似于被控对象强化学习部分组成元素：包含智能体（Agent）、环境动态（Environment Dynamics）。智能体中有策略（Policy,π\piπ）和强化学习算法（Reinforcement learning algorithm）。工作流程：在时刻ttt，智能体观察环境状态sts_tst​，根据当前策略π\piπ。

上一节的深度Q学习，解决了连续状态空间，离散动作空间的问题。现在我们希望能够解决具有连续动作空间的强化学习问题，这时我们通常会使用策略梯度方法。回顾为例方便回顾，这里再贴一下强化学习的基本框架，智能体（Agent）根据当前状态StS_tSt​，依据策略π\piπ采取动作AtA_tAt​，环境（Environment）根据智能体的动作给出下一个状态St+1S_{t+1}St+1​和奖励Rt+1R_{t+1}Rt+1​，智能体再根据这些反馈通过强化学习算法更新策略。策略梯度通常可以写成价值函数的一个函数。演

生成对抗网络（GANs）通过两个网络（一个判别器和一个生成器）之间的竞争过程来学习函数。生成器学习在目标领域中生成合成数据示例：2014 - 2017年用于生成逼真人脸的生成对抗网络的发展历程生成对抗网络（GANs）的众多应用生成对抗网络已得到广泛应用，尤其在图像编辑处理方面表现突出。左上：朱俊彦（Zhu, J. Y.）、朴泰升（Park, T.）、菲利普·伊索拉（Isola, P.）和亚历山大·A·埃弗罗斯（Efros, A. A.）（2017年）。