新华编程特战队

值得注意的是，甚至在训练模型的权重之前，该模型就产生了与图的社区结构非常相似的节点嵌入。相同颜色（社区）的节点已经在嵌入空间中紧密地聚集在一起，尽管我们模型的权重是完全随机初始化的，到目前为止我们还没有进行任何训练！由此得出的结论是，GNN引入了强烈的归纳偏置，导致输入图中彼此靠近的节点具有相似的嵌入。我们可以看到，对于每条边，edge_index包含一个由两个节点索引组成的元组，其中第一个值描述源节点的节点索引，第二个值描述边目标节点的节点索引。初始化空手道俱乐部数据集后，我们首先可以检查它的一些属性。

是一种用于表示深度学习模型的开放格式，可实现模型互操作性和不同框架之间的共享，例如PyTorch、TensorFlow和Caffe2。ONNX还支持从 Python、C++、C# 和 Java 等不同语言导出和导入模型，使使用各种编程语言的开发人员可以轻松地与其他社区成员共享和使用模型。ONNX或是一种用于深度学习模型的开源格式。它允许在 PyTorch、TensorFlow 和 Caffe2 等深度学习框架之间无缝互换和共享模型。

机器学习 （ML）近年来发展迅速，其应用已遍及各个领域。ML 应用最令人兴奋的领域之一是设备上的机器学习，其中 ML 模型部署在移动或嵌入式应用程序中。这使得广泛的用例（例如图像分类、对象检测和自然语言处理）可以在用户设备上本地执行，而无需往返服务器。TensorFlowLite 是 TensorFlow的轻量级版本，专为移动和嵌入式设备设计。它允许开发人员在各种设备上运行他们的模型，包括运行 Android 和 iOS 的智能手机和平板电脑，以及嵌入式 Linux 系统和微控制器。延迟隐私连接性、大小。

机器学习 （ML） 模型已成为各行各业企业改进其产品和服务并做出更好决策的强大工具。然而，将ML 模型部署到生产环境是一项重大挑战。许多公司在将开发环境中经过训练的模型部署到生产环境中时都面临着困难。部署 ML 模型的过程涉及多个步骤，包括模型版本控制、性能优化和监控。TensorFlow Serving 是一个灵活、高性能的服务系统，适用于专为生产环境设计的机器学习模型。它提供了一种简单的方法来部署新的算法和实验，同时保持相同的服务器体系结构和 API。

模型优化是指提高机器学习模型效率和性能的过程，我们可以通过超参数调优、精心选择模型架构、模型压缩、数据预处理以及使用 GPU、并发、缓存和批处理等性能优化策略等技术来实现。模型优化旨在从模型中获得最佳性能，同时最大限度地减少训练和评估模型所需的计算资源和时间。模型优化是机器学习管道中的关键步骤，因为它可以提高模型性能。可以使用多种技术进行模型优化，例如超参数优化、正则化和剪枝。超参数优化涉及调整训练期间未学习的模型参数，例如学习率或隐藏层数。正则化是一种通过向损失函数添加惩罚项来防止过拟合的技术。

使用我们之前定义的函数创建架构的 CNN 部分后，我们必须创建网络的 FC 部分。我们的目标是获取签名数据集，并使用连体网络来预测哪些测试签名属于真人，哪些是伪造的。这种独特的学习范式使这些网络在缺乏数据的情况下更加鲁棒，并提高了性能，而无需特定领域的信息。，用于将提取的特征映射到最终的分类输出。如果评估损失是我们在整个训练期间看到的最好的，我们会保存模型以供该时期的推理。在 Siamese 网络的情况下，预测概率是两个图像相似的概率，如果图像相似，则实际结果是二进制值 1，如果它们不相似，则为 0。

这是因为 VAE 学习的潜在空间是连续的，这使得解码器能够生成新的数据点，这些数据点在训练数据点之间平滑插值。因此，我们可以在潜在点之间进行插值，以生成新样本，这些样本是输入数据的平滑变化。为了使用 VAE 生成新样本，我们首先将给定的输入样本编码到潜在空间中，然后从编码样本定义的分布中采样一个新的潜点。在此体系结构中，编码器网络将输入数据映射到潜在代码，解码器网络将潜在代码映射回重建的数据。VAE 经过训练，可以最小化原始数据和重建数据之间的差异，使其能够学习数据的基础分布并生成遵循相同分布的新样本。

它们经过训练，可以重建被噪声破坏的输入信号的干净版本。这通常使用重建损耗函数来完成，该函数测量干净输入和重建输出之间的差异。在训练期间，自动编码器将获得一组干净的输入示例以及这些示例的相应噪声版本。目标是学习一个函数，该函数使用编码器-解码器架构将噪声输入映射到干净的输出。它由一个编码器和一个解码器组成，前者将输入数据映射到低维表示或编码，后者将编码映射回原始数据空间。是通过最小化原始图像和重建图像之间的差异来完成的。完成后，经过训练的 DAE 可以通过消除噪声和重建原始图像来对新图像进行降噪。

是一种神经网络，可以通过学习输入的底层结构来减少数据中的噪声。它由三部分组成：压缩输入同时保留有用特征的编码器、选择重要特征的瓶颈和重建数据的解码器。自动编码器可用于图像压缩，方法是在图像数据集上训练网络，然后使用网络的编码器部分压缩新图像。然后，网络的解码器部分可以重建压缩图像，从而在图像质量和压缩比之间进行权衡。是深度学习的关键组成部分，它可以通过分析输入数据的示例来学习识别输入数据中的模式。网络的这一部分由卷积块组成，后跟池化层，这反过来又有助于创建压缩的数据表示。在这种情况下，获得了完美的重建。

给定嘈杂的图像，自动编码器是一系列可以将这些嘈杂图像转换为原始形式的模型。这些模型是无监督的，并使用编码器-解码器架构在给定噪声变体的情况下重新创建原始图像。在重新创建时，模型还学习对数据集的潜在空间进行建模。网络的编码器使用具有 ReLU 激活的卷积层和最大池化层块。目的是在输入数据通过网络之前对其进行压缩。这部分网络的输出应该是原始数据的压缩版本。由于MNIST图像的形状为28x28x1，因此我们使用该形状创建输入。# Encoder与其他两个组件不同，Bottleneck 不需要显式编程。

自动编码器可用于数据压缩，方法是通过编码器学习输入数据的压缩表示，然后通过解码器重建原始数据。在深入了解使用自动编码器进行数据压缩的细节之前，了解数据压缩的基本原理以及如何使用自动编码器来实现数据压缩非常重要。若要使用自动编码器进行数据压缩，需要定义自动编码器的体系结构，并在标记的输入和输出数据对数据集上对其进行训练。有多种类型的自动编码器，包括卷积自动编码器、去噪自动编码器和变分自动编码器 （VAE）。这种类型的自动编码器类似于标准自动编码器，但编码器和解码器使用卷积层而不是密集层。

特别是 GAN，它是一种训练范式和一系列网络架构，可转换简单的卷积网络以基于图像数据集生成新颖的图像。然后，生成器将此修改后的图像传递给鉴别器，鉴别器预测图像的真实程度并返回相同的概率。，鉴别器的作用是最大化其损失函数，而生成器的作用是最小化其损失函数，这导致生成器创建出类似于真实图像的图像。GAN是一种神经网络，旨在生成新的、以前看不见的数据，类似于模型训练的输入数据。它的架构类似于生成器，但进行了一些修改。生成器损失函数考虑鉴别器的输出，如果生成器可以欺骗鉴别器认为假图像是真实的，则奖励生成器。

我们将使用 Tensorflow 库从头开始创建一个简单的 GAN，在 MNIST 数据集上对其进行训练，并生成手写数字的新图像。为了查看网络对图像的训练程度，我们创建了一个辅助函数来存储来自生成器的一批图像的预测。在给定图像数据集的情况下创建新颖的图像是称为生成对抗网络 （GAN） 的特定模型分支的优势之一。MNIST 是 GAN 的简单数据集，例如我们正在构建的数据集，因为它具有较小的单通道图像。生成器随机创建新颖的图像，而鉴别器则试图证明生成的图像是假的。我们遵循的 GAN 图像生成步骤如下。

注意力机制允许模型有选择地关注输入中对进行预测最重要的部分，而忽略不太相关的部分。上图显示了学习模型的注意力权重，我们可以看到，在对单词“it”进行编码时，模型理所当然地对单词“car”的关注超过了任何其他单词。例如，在进行机器翻译时，重要的是要对源序列和目标序列进行注意力评分，并将其放在源序列本身之间，从而实现自我注意力。在基于注意力的模型中，模型在进行预测时可以有选择地关注输入的某些部分。数据的哪些部分最相关。总体而言，注意力机制在广泛的深度学习任务中具有许多潜在的应用，是提高这些模型性能的重要工具。

我们不使用编码器的输出，而是将输入句子输入其中，并使用上一个时间步的隐藏状态作为嵌入。这种策略有一个缺点，因为它假定你可以生成目标[...t] 对于给定的输入[...不幸的是，在生成目标序列之前，通常需要整个输入序列。接下来，我们将预测的输出和上一个时间步的隐藏状态作为当前时间步的输入提供给解码器，然后预测当前输出。然后，我们输入解码器隐藏状态，它将词汇表中所有单词的分数返回到相应的输入中。简单来说，在翻译任务中，编码器将英语句子作为输入，从中学习嵌入，并将嵌入提供给决策者。编码器学习输入句子的嵌入。

双向循环神经网络 （Bi-RNN） 是人工神经网络，可在前进和后退方向上处理输入数据。它们通常用于自然语言处理任务，例如语言翻译、文本分类和命名实体识别。此外，他们还可以通过考虑过去和未来的上下文来捕获输入数据中的上下文依赖关系。Bi-RNN 由两个独立的 RNN 组成，它们以相反的方向处理输入数据，这些 RNN 的输出被组合在一起以产生最终输出。双向递归神经网络 （Bi-RNN） 是一种递归神经网络 （RNN），可处理正向和反向输入数据。

概述门控循环单元 （GRU） 是一种循环神经网络 （RNN） 架构类型。与其他 RNN 一样，GRU 可以处理时间序列、自然语言和语音等顺序数据。GRU 与其他 RNN 架构（例如长短期记忆 （LSTM） 网络）之间的主要区别在于网络如何处理。先决条件介绍从上面的句子中我们可以看出，相互影响的单词可以相距更远。例如，“自行车”和“骑自行车”密切相关，但在句子中相距甚远。RNN 网络发现很难在如此长的上下文中跟踪状态。它需要找出哪些信息是重要的。然而，GRU单元大大缓解了这个问题。

任何时态数据都可以框定为时间序列任务。心率、股票市场价格、传感器日志等数据都属于时间序列数据的范畴。许多深度学习架构用于对此类数据进行建模，LSTM 就是其中之一。本文重点介绍如何构建 LSTM 时间序列模型。

LSTM 由 Hochreiter 和 Schmidhuber 设计，有效地解决了 RNN 的局限性，特别是梯度消失问题，使其在记忆长期依赖关系方面表现出色。LSTM 背后的直觉是 Cell 和 Hidden 状态携带先前的信息并将其传递给未来的时间步长。为了从 Tanh 的输出中获取所需的相关信息，我们将其乘以 Sigma 函数的输出。然后，将该状态的输出与输入门的输出相加。时，就会发生梯度爆炸问题，此时值变得非常大，从而中断了网络的训练。在多对多架构中，给定任意长度的输入，并返回任意长度的输出。

字符级 RNN 是一种递归神经网络，它在字符级别处理输入数据，而不是像传统 RNN 那样在单词级别处理输入数据。我们可以将它们用于各种自然语言处理任务，包括语言翻译、文本分类和文本生成。然而，字符级 RNN 存在局限性，例如在某些任务上比词级模型更长的训练时间和更低的整体性能。

另一方面，深度学习模型中的递归神经网络包含一个反馈循环，该循环使用沿输入的先前隐藏状态预测输出。上图在左边显示了一个符号式的 RNN 神经网络，在右边显示了一个展开（或展开）成一个完整的网络的 RNN。深度学习中的递归神经网络（RNN）之所以被称为递归神经网络（RNN），是因为它们始终如一地为序列中的每个元素完成相同的任务，其结果取决于先前的计算。对于序列中的每个元素，它们都成功地执行了相同的任务，结果取决于先前的输入。的概念，这些网络可以存储先前输入的状态或细节，以在序列中创建以下输出。

我们还将对数据进行规范化，并实现一些基本的预处理来为我们的模型提供数据。胶囊网络背后的主要思想是用更具生物学灵感的架构取代传统的卷积层和池化层，以更好地捕捉。胶囊网络中的主要胶囊是通过对输入图像应用一系列卷积滤波器来创建的。每个胶囊都是一组神经元，对输入图像的特定特征敏感。然后，给定层中胶囊的输出被传递到下一层，在那里它们被组合和进一步处理。在这种情况下，模型可能无法识别小物体，因为细节太细，无法以较低的分辨率捕获。的，其中胶囊层连接成层，从代表基本要素的主胶囊层开始，然后通过表示复杂要素和对象的。

通常，在 CNN 架构中，扩展过程（增加层数）是一项艰巨的工作，因为有许多方法可以扩展。可以看出，当组合使用这些方法时，比仅使用一种方法会产生更好的结果。例如，从下图中我们可以看到，当分辨率和宽度都增加而不是单独增加它们时，会产生最佳结果。NAS用于找到最强大的架构，同时检查参数数量，从而提供非常高效和优化的模型。正在寻找更高效、更优化的架构，并考虑几个参数，并具有更好的性能。使用这三种方法中的任何一种进行纵向扩展都会获得更好的性能，但性能的提高会饱和，并且在一段时间后不会改善。是其中最重要的一种。

当我们的任务可用的数据有限时，这种适应特别有用，因为它允许我们在更大的数据集上利用模型学到的知识。通过利用通过迁移学习和微调获得的知识，与从头开始相比，可以改进和加快训练过程。由于迁移学习通常用于小型数据集，因此在此示例中，我们采用猫和狗数据集的子集。需要注意的是，它定义了从原始范围缩放的输入(0,255)( 0,2 5 5)到范围(−1.0,1.0)(−1.0, 1.0)。由于我们的预训练模型使用不同的数据，因此这些层在这里很有用。现在我们已经训练了新层，我们解冻了整个模型，然后以非常小的学习率训练它。

机器学习迁移学习方法使用为一项工作开发的模型作为另一项工作的基础。由于它们比从头开始构建神经网络模型更快、更便宜，因此预训练模型被广泛用作计算机视觉和自然语言处理中深度学习任务的基础。它们在类似任务上的表现也明显更好。新任务中的预训练深度学习模型称为迁移学习。利用预训练模型的知识（特征、权重等）来训练新模型，可以克服为新任务使用较少数据等问题。使用这种方法，模型可以实现较高的模型性能率，并且有很大的机会利用最少的计算。

由于大多数视觉数据集都具有一些共同特征，因此可以采用在类似数据集上训练的网络，并使用训练后的特征来减少在不同数据集上的训练时间。我们可以将知识从在复杂任务上训练的网络转移到更简单的网络，或者从在大量数据上训练的网络转移到数据较少的网络。因此，迁移学习是多任务学习的潜在关键，多任务学习是深度学习的一个活跃研究领域。在此图中可以看到提前停止的想法。这是记忆训练数据和泛化到看不见的数据之间的平衡，找到正确的平衡可能很困难，需要实验。过拟合和欠拟合都可以通过多种方式进行抵消，但需要注意的是，它们具有微妙的平衡。

我们只想将其应用于某些图像，因此我们使用较低的概率。在这里，我们将使用 CIFAR10 数据集。我们可以在任何库中创建模型，但 TensorFlow 对于初学者来说是一个很好的起点，我们将使用这个库来创建一个。为了验证我们是否正确加载了数据，我们检查了刚刚创建的拆分的大小。我们将学习如何加载数据集、构建模型，最后训练使用数据集创建的模型。我们需要进行一些调整，以确保我们以最佳方式使用我们的资源。加载模型后，我们创建一个输入，将当前批次传递到增强中，最后，创建一个大小为 10 的全连接 （FC） 层（

如果我们将图像作为输入馈送到传统的前馈网络，我们将拼平图像并发送单个像素作为输入。例如，如果我们要实现图像分类任务，我们将使用 Softmax 激活函数从模型中获取概率输出。如果分类是二进制的，我们将使用 Sigmoid 激活函数。在图像处理中，卷积是必不可少的。CNN 是一种深度学习算法，它将图像或视频作为输入，并通过网络的几层，其中每一层应用不同的处理技术。输入是表示为具有像素值的矩阵的图像，它们所属的类用作训练模型的输出。例如，如果是二元图像分类任务，我们将使用二元交叉熵损失函数。

计算机视觉（CV）是专注于使计算机能够“看到”和感知图像和视频的领域。计算机视觉使用各种算法和技术来理解视觉数据，现在可以比人眼表现得更好。计算机视觉已经存在了很长时间，但由于处理能力和人工智能的进步，最近获得了极大的普及。一般来说，计算机视觉的目的是分析和理解图像数据。计算机视觉是一个可以被视为人工智能和机器学习的子领域的领域。使用专门的技术和学习算法，系统可以理解图像数据。这些知识可用于特定的基于计算机视觉的应用。就其最基本的形式而言，CV是人工智能的一个分支，它教机器人像人类一样看东西。

它使用梯度的衰减移动平均值来忘记较早的梯度，同时在计算中优先考虑较新的梯度。RProp，即弹性传播，是为了解决梯度大小不同的问题而引入的。RMSProp 是梯度下降的一种改进形式，它使用衰减的移动平均线，而不仅仅是当前值。因此，理想情况下，我们需要一种带有移动平均滤波器的技术来克服 RProp 的问题，同时仍然保持 RProp 的鲁棒性和高效性。值是在学习率项中除以的，因此如果 Vdw 较低，则学习率增加，反之亦然。然后，我们计算梯度并创建另一个 for 循环来计算每个变量的梯度平均值的平方。

概述梯度下降的自适应方法是标准梯度下降算法的变体，它根据调整学习率。自适应方法的目标是通过以更适合手头任务的方式扩展学习率来提高优化的收敛性。介绍梯度下降是一种广泛使用的优化算法，用于查找最小化成本函数的参数值。在机器学习中，梯度下降通常用于优化模型的参数以提高其性能。梯度下降背后的主要思想是通过遵循成本函数的负梯度来迭代改进参数的值。通过在降低成本函数的方向上采取小步骤，梯度下降可以有效地找到参数的最优值。梯度下降的几种变体，包括，使用不同的技术来调整学习率并提高优化的收敛性。

带动量的 SGD 是 SGD 的变体，它在更新规则中添加了一个“动量”项，这有助于优化器继续沿同一方向移动，即使局部梯度很小。损失函数衡量模型对给定数据集进行预测的能力，训练模型的目标是找到产生尽可能低损失的模型参数集。学习率根据历史梯度信息进行更新，因此接收多次更新的参数具有较低的学习率，而接收较少更新的参数具有较高的学习率。是一个更复杂的优化器，它结合了动量和自适应学习率的思想，通常被认为是深度学习中最有效的优化器之一。本节将简要概述最常用的优化器，从较简单的优化器开始，逐步发展到更复杂的优化器。

通常，神经元的数量会增加，一般来说，更大的数据集和更复杂的问题需要更深层次的网络和更多的隐藏层。例如，模型的学习率可以决定模型的学习速度。在进行超参数调优时，这可能特别成问题，因为它可能导致选择在训练数据上运行良好的超参数，但需要更好地泛化到看不见的数据。例如，假设要测试的纪元值范围为50−50050−5 0 0.在这种情况下，超参数优化过程将使用每个值评估模型的性能，并返回最佳纪元值。然后，我们训练神经网络，评估每个组合的模型，并记录结果。相比之下，较大的学习率可能会导致更快的收敛，但模型的准确性较低。

计算机视觉和深度学习的全新基准数据集是服装分类问题。Zalando提供的Fashion-MNIST数据集是时尚相关文章的照片集合。尽管数据集很简单，但它可用于学习和应用深度卷积神经网络开发、评估和应用图像分类。顺序 API函数式 API在该网络的顶层，当图层展平照片时，照片的格式从二维数组（28 x 28 像素）更改为一维数组（28 * 28 = 784 像素）。该层重构时尚MNIST数据。无需学习任何参数。考虑此图层在图像中排列和取消堆叠像素行。

通过使用这三个数据集，可以使用 X_train、y_train 来训练模型，使用 X_val、y_val 来微调模型，并使用 X_test、y_test 来评估模型在看不见的数据上的性能。在使用 DNN 的回归分析中，目标是学习将输入特征映射到输出的函数，以便模型做出的预测尽可能准确。其中 Y 是因变量，X1、X2、...、Xn 是自变量，b0、b1、b2、...、bn 是模型系数。在本例中，使用的指标为“mean_absolute_error”，即预测值和实际值之间的平均绝对差值。

我们将实现用户定义的 TensorFlow 回归模型并评估我们的结果。回归的一个很好的例子是预测一个人的身高，考虑到他们的年龄。在我们的模型中，我们将使用提供给我们的输入数据来预测房屋的价格。我们构建的模型将根据数据进行训练，以便它所做的预测误差最小。当我们查看数据时，我们注意到这两列具有分类值，使用整数数据类型，而其他列使用 float 数据类型。现在，我们所有的数据都已缩放并准备好进行训练，让我们将数据拆分为训练集和测试集。训练模型后，让我们进行一些预测来测试我们的模型。值得庆幸的是，没有缺失值。

预处理之后是训练阶段，我们初始化模型并使用优化的函数来训练模型。是一个数学函数，它根据神经元的输入确定神经元的输出。它是模型做出的正确预测在所有预测中所占的比例。我们将看到如何使用 Numpy 和 Python 构建神经网络，以了解神经网络在基本层面上的工作原理。的手写数字，任务是根据图像所描绘的数字对图像进行分类。由于我们的模型是线性的，我们将展平。一个简单的神经元只由它所连接的权重和偏差组成。（修改后的国家标准与技术研究院）数据集广泛用于训练和测试机器学习模型，特别是用于图像分类任务。

它的主要功能是根据处理后的输入数据生成网络的最终输出。输出层将最后一个隐藏层的输出作为其输入，并通过对该数据应用一组最终的变换来生成网络的最终输出。输出层中的神经元数量取决于网络旨在解决的具体问题。例如，在。