qq_23022733的博客

参考：1、TensorRT Docker pytorch版本讲解：https://docs.nvidia.com/deeplearning/frameworks/pytorch-release-notes/rel-24-11.html#rel-24-11

1、标准化向量: 将向量 A 和 B 标准化为单位向量 uA 和 uB。2、计算点积和叉积: 获取向量 uA 和 uB 之间的夹角信息（余弦值和正弦值）。3、处理数值稳定性: 限制点积值在 [-1, 1] 范围内，确保计算的准确性。

什么是相机标定？空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型这些几何模型参数就是相机参数这个求解参数的过程就称之为相机标定(或摄像机标定)什么是世界坐标系由于摄像机与被拍摄物体可以放置在环境中任意位置，这样就需要来表示摄像机和被摄物体的位置，这个在环境中建立一个坐标系，坐标系就成为世界坐标系什么是相机坐标系也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直，如下图所示为啥要把世界坐标系变到相机坐标系。

文章目录1、FBX格式的数字人/虚拟人模型链接：https://www.mixamo.com/#/?page=3&type=Character

下面是Swin Transformer论文的Abstract，

虽然 Transformer 架构已成为自然语言处理任务的事实标准，但它在计算机视觉领域的应用仍然有限。在 Vision 中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们表明，这种对 CNN 的依赖是不必要的，直接应用于图像块序列的纯 Transformer 可以在图像分类任务中表现良好。

attention和推荐算法具有相似性，推荐的机制大致如下：在搜索框输入商品名称键盘，后台会根据你输入的商品名称和商品的标签或title进行匹配，你输入的商品名称为query，商品的标签或title为key，query和key做计算后为相似度，后台会根据商品的一些特性，比如销量，好评度来进行商品排序，特性被称为value，相似度与value做计算后为总分。计算，得到的 q 和 k 的矩阵的维度都是 1x2，v 矩阵的维度是 1x3，每组的 q 乘以 k 的转置的维度是 1x1的，再除以。

安装的 PyTorch 版本和 CUDA 版本不兼容。可以重新安装与系统上 CUDA 版本匹配的 PyTorch 版本。CUDA 版本与 GPU 驱动程序或 PyTorch 安装的 CUDA 编译版本不兼容。安装完成后，就可以完美解决这个Bug！

1、blazepose：https://github.com/tensorflow/tfjs-models/tree/master/pose-detection/src/blazepose_mediapipe

左图是Transformer的Positional Embedding，行索引代表第几个单词，列索引代表每个单词的特征向量，右图是DDPM的Positional Embedding，DDPM的Positional Embedding和Transformer的Positional Embedding的。另一个区别是DDPM的Positional Embedding并没有按照奇数位和偶数位进行拼接，而是按照前后的sin和cos进行拼接的，虽然拼接方式不同，但是最终的效果是一样的。这是下采样模块的解释，

transformer的作者刚开始说固定的位置编码和可学习的位置编码的效果是差不多的，后来证明固定的位置编码没有太大的必要，还不如省事直接使用可学习的位置编码，如下图，设置token的数量为10，token的特征向量长度为128，偶数项和奇数项的位置编码公式如下图所示，代码中，token_num是句子中的单词数量，embed_dim表示每个单词的特征向量长度，将对应位置的位置编码直接加在输入的单词上，如下图中的最后一行，为什么 attention 并不能赋予 token 位置信息？

DeepStream是一个基于NVIDIA GPU和TensorRT的开源视频分析框架。它提供了一个端到端的、可扩展的平台，可以处理多个视频和图像流，并支持实时的人脸识别、车辆识别、物体检测和跟踪、行为分析等视觉分析任务。DeepStream可以通过在不同的节点上进行分布式部署来实现高吞吐量和低延迟的处理，从而满足各种应用场景的需求，如智能城市、智能交通、工业自动化等。Deepstream稳定高效的读流和推流能力；Deepstream内置的目标追踪算法（deepsort等）

如下图所示，每个conv-layer会被计算相应的channel scaling factors，然后根据channel scaling factors筛选conv-layer，达到模型瘦身的作用，图中的1.170，0.001，0.290等就是下面我们将要介绍的学习参数。L2求导为：θ，梯度下降过程越来越慢，相应的权重参数都接近0，起到平滑的作用，值是1.17，1.16，1.15等，那如何筛选比较重要的。图中的1.170，0.001，0.290等就是学习参数。越小，其对应的特征图越不重要，

参考文献：

需要在有界面的主机上安装，远程ssh无法使用窗口# 建议使用conda虚拟环境 # 安装 pip install labelImg # 启动 labelImg深度学习量化就是将深度学习模型中的参数（例如权重和偏置）从浮点数转换成整数或者定点数的过程。这样做可以减少模型的存储和计算成本，从而达到模型压缩和运算加速的目的。如int8量化，让原来模型中32bit存储的数字映射到8bit再计算（范围是[-128,127]）。加快推理速度：访问一次32位浮点型可以访问4次int8整型数据；

整体框架如下，1张图片经过CNN网络后分成2个网络，Parts Detection网络是预测关键点，Parts Association网络是预测方向，人体18个关键点总共需要19个不同的方向，而确定方向至少需要1个平面，即。stage越多相当于层数越深，模型感受野越大，姿态估计需要更大的感受野，因为进行关键点检测需要更多关于人体的信息，所以感受野越大则人体的信息越多，关键点检测越能检测准确。在本项目中，需要检测人体18个关键点，除了下图所标注的17个关键点外，还有1个脖子关键点。2、姿势的‘亲和力’向量。

参考：，

1、Tao：迁移，剪枝，支持onnx模型导入，集成在deepstream部署；2、导入onnx模型，只针对算子，不分是否为分类和分割、检测模型；5、部署问题：在哪个卡上做部署，就在哪个卡上做trt转换；4、onnx可以转到Tao，但Tao不能转化成onnx;3、vota不支持int8；

...

......

参考：链接1

参考：链接1

【代码】centernet 数据处理。

参考：参考：参考：参考：参考：，

3、Cls部分，每个真实框对应的先验框，获取到每个框对应的先验框后，取出该先验框的种类预测结果，根据真实框的种类和先验框的种类预测结果计算交叉熵损失，作为Cls部分的Loss组成。3、Cls部分，每个真实框对应的先验框，获取到每个框对应的先验框后，取出该先验框的种类预测结果，根据真实框的种类和先验框的种类预测结果计算交叉熵损失，作为Cls部分的Loss组成。标注数据的类别需要转成数字，如0、1等，转成后的yolo格式如下，每1行代表一个物体，依次表示为：类别、x、y、w、h。

【代码】如何从json格式转为xml格式（训练yolo模型数据）

主干网络示意图如下，其实采用的和YoloV3、YoloV4、YoloV5类似的网络结构代码如下，多分支模块堆叠的类名为：Multi_Concat_Block输出：2.2 下采样网络结构结合了maxpooling和2 ×\times× 2步长的卷积代码如下，下采样结构类名为Transition_Block，输出：2.3 整个backbone代码整个主干网络实现代码为：输出：3、FPN特征金字塔backbone与FPN以及head代码：输出：

无

【代码】crop图片后，同时修改物体相应的坐标。

无

无

GMIP

无

参考：，

【代码】调整json文件。

工作中会对代码进行修改，修改完后可能不容易找到原来修改的地方，所以在这里统一标记一下，以防混乱；

【代码】python如何截取视频中的某一段。

【代码】【数据处理】如何在图片中随机采样。

如图这种处于临界的图片就不需要处理，不是好素材。

激活函数