图像学习之旅

深度学习可以让计算机从经验种进行学习，并根据层次化的概念来理解世界，让计算机从经验中获取知识，可以避免由人类来给计算机形式化地制定它所需要地所有知识。TensorFlow的前身是2011年Google Brain内部孵化项目DistBelief，它是一个为深度神经网络构建的机器学习系统。经过Google 内部的锤炼后，在2015年11月9日，对外发布了TensorFlow，并于2017年2月发布了1.0.0版本，这标志着TensorFlow稳定版本的诞生。

在深度学习训练里，GPU的双精度(FP64)算力要求相对特殊，对于一些科学计算类的深度学习任务，如气候模拟相关模型训练，双精度算力可能每秒要达到数百GFLOPS，才能保证计算的准确性和稳定性。考虑到深度学习训练的实时性需求，GPU的算力稳定性十分关键。深度学习训练对GPU算力的要求，从计算精度角度看，单精度(FP32)算力在一些中等规模模型训练中，每秒需达到数千亿次浮点运算(TFLOPS)级别，例如在常见的图像分类模型训练时，英伟达部分高端GPU单精度算力可达10-30 TFLOPS才能较好满足需求。

Q：图像预处理部分在resize后还会使用均值：image_mean=[0.485,0.456,0.406]，标准差：image_std=[0.229,0.224,0.225]进行归一化，为什么使用这几个值？A：image_mean=[0.485,0.456,0.406]、image_std=[0.229,0.224,0.225]是Imagenet数据集的均值和标准差，使用Imagenet的均值和标准是一种常见的做法。如果你想在你自己的数据集上从头开始训练，你可以计算新的平均值和标准。

TensorFlow 的官网地址为 https://www.tensorflow.org/。TensorFlow 逐渐成为最流行的深度学习框架，目前在 GitHub 中已经有 1500 多个与深度学习相关的包中提到了 TensorFlow，而其中只有 5 个是谷歌公司官方提供的，可想而知它的应用是多么广泛。TensorFlow 在很大程度上推动了深度学习的发展，并成为这个行业的标准，目前可以说是深度学习的代名词了。

1][2]

【代码】合并golden、simulator、runtime精度日志。

【代码】根据日志寻找精度爆炸层的脚本。

npviewer 是一个应用程序，它允许您以热图的形式可视化 numpy 的 npy 文件中的数据。该应用程序根据不同的模式自动选择适当的维度进行显示。在桌面上打开npyviewr的快捷方式，并在地址栏输入要加载的文件目录或者npy文件即可。

作为深度学习用户，经常会听到ONNX、TensorRT等一系列常用的文件保存格式。而对于ONNX而言，经常我们会发现在利用TensorRT部署到NVIDIA显卡上时，onnx模型的计算图不好修改，在以前的操作中很多时候大佬是将onnx转换成ncnn的.paran和.bin文件后对.param的计算图做调整的。

在前面的模型入门系列文章中，我们介绍了部署一个 PyTorch 模型到推理后端，如 ONNXRuntime，这其中可能遇到很多工程性的问题。有些可以通过创建 ONNX 节点来解决，该节点仍然使用后端原生的实现进行推理。而有些无法导出到后端的算法，可以通过重写代码改变算法的实现过程，同样可以导出到 ONNX ，达到一致的效果。以上两种方式一般可以处理绝大多数的部署问题，同时也不需要向推理框架引入新的内容，是我们进行模型部署时候的优先选择。

TensorRT 是由 NVIDIA 发布的深度学习框架，用于在其硬件上运行深度学习推理。TensorRT 提供量化感知训练和离线量化功能，用户可以选择 INT8 和 FP16 两种优化模式，将深度学习模型应用到不同任务的生产部署，如视频流、语音识别、推荐、欺诈检测、文本生成和自然语言处理。TensorRT 经过高度优化，可在 NVIDIA GPU 上运行， 并且可能是目前在 NVIDIA GPU 运行模型最快的推理引擎。关于 TensorRT 更具体的信息可以访问 TensorRT官网 了解。

精度对齐，是模型部署中重要的一个环节。在把深度学习框架模型转换成中间表示模型后，部署工程师们要做的第一件事就是精度对齐，确保模型的计算结果与之前相当。精度对齐时最常用的方法，就是使用测试集评估一遍中间表示模型，看看模型的评估指标（如准确度、相似度）是否下降。而在 PyTorch 到 ONNX 这条部署路线上，这种精度对齐方式有一些不便：一旦我们发现 PyTorch 模型和 ONNX 模型的评估指标有了出入，我们很难去追踪精度是在哪一个模块出了问题。

在用 API 对 ONNX 模型进行操作之前，我们还需要先了解一下 ONNX 的结构定义规则，学习一下 ONNX 在 Protobuf 定义文件里是怎样描述一个神经网络的。回想一下，神经网络本质上是一个计算图。计算图的节点是算子，边是参与运算的张量。而通过可视化 ONNX 模型，我们知道 ONNX 记录了所有算子节点的属性信息，并把参与运算的张量信息存储在算子节点的输入输出信息中。事实上，ONNX 模型的结构可以用类图大致表示如下：如图所示，一个 ONNX 模型可以用 ModelProto 类表示。

为了编写符号函数，我们需要获得 asinh 推理接口的输入参数定义。这时，我们要去 torch/_C/_VariableFunctions.pyi 和 torch/nn/functional.pyi 这两个文件中搜索我们刚刚得到的这个算子名。这两个文件是编译 PyTorch 时本地自动生成的文件，里面包含了 ATen 算子的 PyTorch 调用接口。经过这些步骤，我们确认了缺失的算子名为 asinh，它是一个有实现的 ATen 算子。我们还记下了 asinh 的调用接口。

在这一节里，我们将详细介绍 PyTorch 到 ONNX 的转换函数—— torch.onnx.export。我们希望大家能够更加灵活地使用这个模型转换接口，并通过了解它的实现原理来更好地应对该函数的报错（由于模型部署的兼容性问题，部署复杂模型时该函数时常会报错）。

直接使用 PyTorch 模型的话，我们修改几行代码就能实现模型输入的动态化。但在模型部署中，我们要花数倍的时间来设法解决这一问题。现在，让我们顺着解决问题的思路，体验一下模型部署的困难，并学习使用自定义算子的方式，解决超分辨率模型的动态化问题。刚刚的报错是因为 PyTorch 模型在导出到 ONNX 模型时，模型的输入参数的类型必须全部是 torch.Tensor。而实际上我们传入的第二个参数" 3 "是一个整形变量。这不符合 PyTorch 转 ONNX 的规定。我们必须要修改一下原来的模型的输入。

在软件工程中，部署指把开发完毕的软件投入使用的过程，包括环境配置、软件安装等步骤。类似地，对于深度学习模型来说，模型部署指让训练好的模型在特定环境中运行的过程。因为这些难题的存在，模型部署不能靠简单的环境配置与安装完成。经过工业界和学术界数年的探索，模型部署有了一条流行的流水线：为了让模型最终能够部署到某一环境上，开发者们可以使用任意一种深度学习框架来定义网络结构，并通过训练确定网络中的参数。之后，模型的结构和参数会被转换成一种只描述网络结构的中间表示，一些针对网络结构的优化会在中间表示上进行。

在 Anaconda prompt 中进入自己的 pytorch 环境，安装依赖包。

【代码】linux将执行日志进行记录。

当然，这个方法对我而言是有效果的，但是如果大家电脑中没有火绒，或者有火绒但是关闭了之后这个安装进度还是很久没有反应，那估计就是别的原因导致的这个问题；但是在之前自己的多台电脑，以及读研时课题组电脑中，也都没有在安装阶段换过源，但都没有出现过这种情况，所以大概率不是这个问题。但是，在下载好安装包进行安装时，发现安装进度一直卡在了“Setting up the package cache”这个环节，等了大概半个小时都没有变化，如下图所示。因为这个是单位的电脑，所以在其中安装了火绒软件，如下图所示。

算力顾名思义是“计算能力”的缩写，指的是IT设备的计算能力。

为了大家能够学习到真正在企业拿来即用的技术，结合15大企业级项目，带你熟悉算法工程师在工作中会接触到的数据打包、网络训练、测试等问题，一步步带大家了解和完成真真正正会在企业里面用到的实战案例，尽快进入AI学习领域。