tecsai的博客

在使用PyTorch执行深度学习开发时，经常会用到对Tensor的合并于拆分操作。如我们在使用CSP时，有时候会需要将Tensor拆分成两部分，其中一部分进行进行Cross Stage操作，另一部分执行多重卷积操作，这个时候我们就会用到四个典型的接口，分别是torch.cat, torch.stack, torch.trunk, torch.split。接下来将逐一进行讲解。

Python的装饰器理解起来相对简单，唯一的功能就是允许程序员在不修改原有函数定义的情况下，增加函数的新功能。装饰器本质上是一个函数，它接受一个函数作为参数并返回一个新的函数。使用装饰器可以实现很多有用的功能，比如在函数执行前后自动执行某些操作、缓存函数的返回结果、检查函数的参数类型等。装饰器有三种不同的形式，分别是无参装饰器，被装饰函数带参数和装饰器带参数。

在训练深度神经网络时，我们一般会采用CPU或GPU来完成。得益于开源传统，许多算法都提供了完整的开源代码工程，便于学习和使用。随着GPU的普及，GPGPU已经占据了大部分的训练场景。 我们在这里仅以GPU训练场景做一些说明。 当我们使用单GPU训练时，我们称之为非并行训练。使用多个GPU共同训练时，我们称之为并行训练。

在计算机视觉/深度学习领域，每一个方向都有属于自己的评价指标。通常在评估一个模型时，只需要计算出相应的评价指标，便可以评估算法的性能。同时，所谓SOTA，皆是基于某一评价指标进行的评估。 接下来，我们将对目标检测领域的评价指标做一个大体的说明，其中涉及Precision，AP，mAP，Accuracy等指标。

混合精度训练（Mixed Precision Training）是一种深度学习训练技术，它使用不同精度的数据类型（如单精度FP32和半精度FP16）来执行训练过程中的不同部分，以达到加速训练、减少内存使用和降低计算开销的目的。这种训练方式可以在保持模型精度的同时，显著提高训练效率。

在使用pytorch训练网络时，一般都会使用多GPU进行并行训练，以提高训练速度，一般有单机单卡，单机多卡，多机多卡等训练方式。这就会使用到pytorch提供的DataParallel(DP)和DistributedDataParallel(DDP)这两个函数来实现。

torch.device 是 PyTorch 中的一个类，它指定了张量（Tensor）和模型应该运行在哪个设备上。在深度学习中，通常会使用 GPU 来加速计算，而 torch.device 允许你轻松地在 CPU 和 GPU 之间切换。

torch.meshgrid生成网格，可以用于生成坐标。函数输入两个数据类型相同的一维张量，两个输出张量的行数为第一个输入张量的元素个数，列数为第二个输入张量的元素个数，当两个输入张量数据类型不同或维度不是一维时会报错。

1. 梯度下降在学习神经网络与机器学习之前，不得不先了解一种迭代方法，那就是梯度下降法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。这些都会在后面讲解。2. 梯度下降小述在学习微积分时，对于一个多元函数，当对其中各个元求偏导数，再把求...

SSD目标检测（Single Shot MultiBox Detector）（一）1. SSD目标检测概述1.1 SSD的套路SSD全称Single Shot MultiBox Detector，是大神Liu Wei在2015年发表的惊世之作（至少笔者这么认为，也是为什么先讨论SSD的原因）。 SSD提供300*300和512*512两个尺度的检测。与前辈Faster R-CNN一样，...

深度学习基础知识与概念1. 深度学习与机器学习机器学习是人工智能实现的方式之一，而深度学习是机器学习的一个研究方向。1.1 机器学习机器学习是人工智能的实现方式之一，当然应该还有其他的方式，暂且不予讨论。当前机器学习一般的，可分为三类，分别是监督学习、无监督学习和强化学习。监督学习，广义上就是指依赖于一组带有标签的数据，通过训练获得一组经验模型。深度学习中，通过...

Batch Normalization通道归一化1. BN的计算单位是通道假设Batch为1，即当前batch只有一张图片。一张图片对应R、G、B三个通道。求解均值和方差时，是以通道为单位，分别求得每个通道的像素值综合，除以H*W。即先求R通道的所有像素值之和，然后除以H*W得到R通道的均值，然后同理求得。R通道的方差，即每个像素值减去均值，差求平方，所有的像素执行上述操作，求...

1. 基本的概念领域集： 一个任意的集合χ。集合中的实例是我们希望能够贴上标签的数据。χ的元素称为实例。标签集：学习器所追求的结果集合。可以为{是，否}，{0, 1}。预测器想要得到的最终数据。训练数据： 带标签的领域及元素集合，通常会组成一个局部聚合S，也叫作训练集。 2. 机器学习的一般流程采集数据 –> 标记-> 训练-> 得到预测器一个学习算法的输入是一