weixin_42914706的博客

【代码】PyTorch 3-深度学习-torch model demo。

信息区主要保存着tensor的形状（size）、步长（stride）、数据类型（type）等信息，而真正的数据则保存成连续数组，存储在存储区;因为数据动辄成千上万，因此信息区元素占用内存较少，主要内存占用取决于tensor中元素的数目，即存储区的大小。tensor分为头信息区（Tensor）和存储区（Storage）

自动化测试-芯片神经网络-模型ONNX-Operators。二：Operators。

此外，此运算符类似于 numpy.broadcast_to（input， shape）， 但主要区别在于 numpy.broadcast_to（） 不允许 shape 小于 input.size（）。给定形状为 [3， 4， 5] 的输入张量 （），则 Unsqueeze（data， axes=[0， 4]） 输出一个张量 （），其中包含与 [1， 3， 4， 5， 1] 相同的数据。2 的时候不是等分的，行是 5/2，第一行得到2，剩下的那一行是3，列是7/2，第一列得到3，剩下那一列是4;

Onnx （Open Neural Network Exchange）是一种开放的深度学习模型格式，旨在实现不同深度学习框架之间的模型互操作性。ONNX模型算子是指在ONNX中定义的各种基本操作和计算单元，用于构建和运行深度学习模型。Onnx 是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的深度学习框架（如Pytorch, MXNet）可以采用相同格式存储模型数据。简而言之，ONNX是一种便于在各个主流深度学习框架中迁移模型的中间表达格式；

种提取目标检测中分数最高的窗口的算法。例如在目标检测中，我们的神经网络对一个目标生成了多个检测窗口，但是事实上这些窗口中大部分内容都是重复的，我们真正需要的只有一个，如下图这样：我们要做就是找到目标检测最优的窗口，NMS就是用来选取多个检测窗口中分数最高的那个窗口，剔除掉其他的同类型的窗口，因此 NMS 在计算机视觉领域有着非常重要的应用。

趋势介绍神经网络芯片当前芯片领域的热点之一。它采用类似人脑的神经元网络结构，具备强大的计算和学习能力。未来的神经网络芯片将在人工智能、机器学习等领域发挥重要作用，为智能化应用提供强大的支持量子计算芯片量子计算芯片是下一代计算技术的重要方向之一，利用量子叠加和纠缠特性，可以进行超级并行计算，解决传统计算机无法解决的复杂问题。未来，量子计算芯片将为科学研究、密码学、物流优化等领域带来革命性突破；柔性电子技术将成为未来芯片领域的重要发展方向。

*原理:**一层的输出是由前一层的输出与该层的输入之和得到的。这个残差连接可以被看作是一个跳跃连接，将前一层的信息直接传递给后面的层。这种设计使得网络可以更轻松地学习到恒等映射，从而提高了网络的性能模型分类基本描述应用衍生模型resnet残差网络一种深度残差网络，包含50层深度，其中“50”表示网络包含50个卷积层和一个全连接层视觉任务表现卓越，应用于图像识别、目标检测和图像分割稀疏网络结构一种深度卷积神经网络（CNN）架构，由Google在2014年提出。

反标准化：将经过标准化的数据还原为原始数据。这在需要将模型预测结果还原为原始范围时非常有用。每个标准化数据对应反标转化的方式目的：对标准化的数据进行还原。

加入了权重的缩放系数的优化变量，导致了多变量优化问题。把一个 layer 的激活值范围的给圈出来，然后按照绝对值最大值作为阈值（因此当正负分布不均匀的时候，是有一部分是空缺的，部分值域被浪费，正负值的绝对值最大值相差较大），然后把这个范围直接按比例给映射到正负128的范围内来，即为int8的范围；量化的目的就是把训练得到的 FP32 的浮点数卷积操作，转换为 INT8 的卷积操作，这样计算就变成了原来的 1/4，最本质的操作 max-max 映射如下图，也叫不饱和映射（No saturation）；

非对称量化定义：使用一个映射公式将输入数据映射到[-128,127]的范围内。但是原始的输入数据中的零点通过映射公式后对应的位置并不是原点。动态范围量化: 动态范围量化(Dynamic Range Quantization)中的校准过程(Calibration)。它属于非对称量化的一种形式。由于量化参数(比如量化因子Scale)是通过数据集的统计量来估计的，因此称之为动态范围量化。偏移量Z:它能够减少量化误差的原因是，引入了一个偏移量Z，使得量化后的数值在更小的范围内，进而减小量化误差。

反向传播：（Backpropagation, BP）是一种神经网络（参数模型）训练方法，它解决神经网络优化的问题。它通过计算输出层结果与真实值之间的偏差来进行逐层调节参数（也被称为梯度下降算法）机器学习是一个广泛的领域，涵盖了许多不同的方向和方法。不同方向在不同的应用领域和问题上都有自己的特点和应用场景。前向运算：计算输出值的过程称为前向传播。28的图像，我们随机分配一个大小为3。

PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序，它是一个基于Python的可续计算包，提供两个高级功能：1、具有强大的GPU加速的张量计算（如NumPy）；2、包含自动求导系统的深度神经网络。

序列介绍1pytorch 是深度学习框架和科学计算包2pytorch之所以可以进行科学计算是因为它是一个张量库并且有相关的张量运算3pytorch和numpy有很强的互操作性， 原因：1.张量和数组具有相似性；2.pytorch的torch.tensor对象是由numpy的ndarray创建的，它们共享内存4pytorch 张量运算可在GPU上运行。