CV技术指南（微信公众号）

本文中提出了一种用于行人重识别的注意感知特征学习方法。该方法由一个部分注意分支（PAB）和一个整体注意分支（HAB）组成，并与基础再识别特征提取器进行了联合优化。由于这两个分支建立在主干网络上，因此没有为ReID特征提取引入额外的结构。因此，本方法能够保持与原始网络相同的推理时间。

多尺度流层可以更有效地提取多尺度信息，而基于显著性的学习融合层有利于重要特征通道的自动选择，因此MuDeep在学习鉴别模式方面很强大。其实这也是目前大多数深度学习任务发表论文的趋势，即多尺度、显著性特征的表示。

前言 本专栏针对Closed-world的ReID任务，首先介绍本任务的目标与主要数据集，包括行人重识别、跨模态行人重识别与车辆重识别。然后从三类表征学习的角度解读相关论文，表征学习是本任务的核心，大量重识别工作都致力于提高表征学习的性能。再次，我们介绍了度量学习和排序优化的发展。最后，我们解读了重识别领域最新的研究方法和研究思路。本教程禁止转载。同时，本教程来自知识星球【CV技术指南】更多技术教程，可加入星球学习。Transformer、目标检测、语义分割交流群欢迎关注公众号CV技术指南，专注于

本文介绍了libtorch教程中的简单模型搭建

张量的常规操作

事实上，在前面的pytorch部署博客和libtorch的QT部署中笔者已经分享了自己搭建libtorch开发环境的记录。其余并无太多要赘述的。

上一章中我们介绍了NeRF原理、传统体渲染方法以及两者之间的联系，本章中我们将讲解colmap的安装以及使用，部分[nerf_pl](https://github.com/kwea123/nerf_pl)源码，同时在开发过程中，由于部分操作python/torch不支持，我们需要自己造轮子，且在后续的专栏中我们也会遇到cuda算子，因此本章也会讲解一下cuda算子的使用。

上一章中我们大致介绍了三维重建的背景、NeRF应用于三维重建的难点以及相关数据集和评估指标，本章节将会详细介绍NeRF原文以及部分源码，以及体渲染的物理模型，来帮助读者更好理解NeRF。

关于该系列专栏，主要介绍NeRF在三维重建中的应用（这里我们特指MVS，multi-view stereo，也即输入带位姿的图片，输出三维结构例如点云、mesh等；并且后面的工作也都是围绕MVS with NeRF讨论的。虽然也有without pose的NeRF，从重建的角度也可以理解为SFM with NeRF，例如ESLAM，Barf，但不是本专栏关注的重点），一方面是为了整理回顾一下现有资料，一方面是为了方便广大初学者更快了解NeRF如何应用于三维重建。

在上一篇推文中，我们简要介绍了异常检测常用的几种数据集如ImageNet、CIFAR10/CIFAR100、MNIST等。接下来，我们将基于传统的异常检测算法分为上、下两部分，逐一介绍不同类别的方法。

在上一篇推文中，我们认识到关于异常检测几种术语的概念和区别，并用一个广义OOD来描述异常检测的相关问题。此外，我们还了解到异常检测的相关应用、发展历程和当前异常检测技术的难点。本篇推文将继续回顾异常检测的基础概念，主要包括异常检测的评估指标和常用数据集。

异常检测一直是机器学习中一个活跃的研究领域，由于风险管理、合规、安全、将抗和医疗风险以及人工智能安全等广泛领域的需求和应用不断增加，异常检测发挥和越来越重要的总用。近年来，随着深度学习和计算机视觉技术的不断发展，已经引入了大量的深度异常检测方法，在解决各种实际应用中具有挑战性的检测问题方面，表现出明显优于传统异常检测的性能。

书接上回，在上一篇文章中，我们介绍了BEVFormer这一先进的BEV算法。在本篇文章中，我们将深入探讨BEVFormer的实现细节，旨在帮助读者更深入地理解BEVFormer的工作原理和性能表现。

本文提出了一种基于Transformer和时间结构的Bird's-Eye-View（BEV）编码器，称为BEVFormer。该编码器可以有效地聚合来自多视角摄像机和历史BEV特征的时空特征。

视觉为中心的俯视图（BEV）感知是一种从鸟瞰视角观察场景的感知技术，它可以提供更全面、更准确的环境感知信息。BEV技术已经在自动驾驶、智能交通、物流配送等领域得到广泛应用和研究，因为它能够有效地解决传统单目、双目视觉感知技术在场景感知范围、视野盲区、姿态变化等方面的限制。本BEV专栏将从BEV技术的背景意义、重点难点、研究方向、应用场景、数据集、评价指标等多个方面进行了概述和介绍，并对未来的发展方向进行了展望。

前面介绍了关于可见光遥感图像目标检测任务主要面临的问题，现在对旋转目标的问题进行优化，为了便于大家理解与之前通用目标检测区别，采用Faster-Rcnn网络模型的架构对旋转目标的检测进行改进。

由于Transormers的横空出世，把cv问题转变为了CNN与Transormers各占据半壁江山，现在也有很多用Transormers来做遥感图像目标检测，并且也取得了不错的效果，Transormers主要的有点是能够学习到图片的全局特征，但是其缺点是需要大量的数据才能够表现出最佳的性能。，小目标的检测问题不属于遥感图像特有的检测问题，属于目标检测的普遍性的问题，主要是由于小目标提供的像素点信息较少，无法提取到鲁棒性的特征。1、旋转目标的检测问题，一直都是遥感图像目标检测的重要解决的问题。

本篇开始对遥感图像的目标检测进行介绍，介绍了其目标前景、数据集以及评价指标。

要去评估算法的好坏，首先得需要知道算法的输出是什么，在视觉定位算法中，其输出为拍摄图像时6自由度的相机姿态，其包括三自由度的平移和三自由度的旋转，其旋转可以用多种形式去表征，比如旋转矩阵、旋转向量和欧拉角、四元数。当然不是所有的算法输出都为6自由度的姿态，当机器人或者自动驾驶汽车几乎都在平坦地面上进行运动时，只需估计三自由度即可，这包括其在世界坐标系中的x、y坐标以及偏航角yaw。平移误差和旋转误差在一定阈值下图像所占的数量，比如下图所示。

这是一个专门针对AR/VR应用的数据集，数据集的采集是使用带有定制的原始传感器记录应用程序的Microsoft HoloLens 2和Apple iPad Pro设备收集数据，10名参与者每人获得一台设备，并被要求在一个共同的指定区域行走，即在环境中自由行走、参观、检查和四处寻找，由此产生了不同的相机高度和运动模式，他们的轨迹没有任何计划或限制，在长达一年的时间里，参与者在白天和晚上的不同时间点访问每个地点。数据集是在12个月的时间里采集的，覆盖了伦敦帝国理工学院周围1.2公里的街道。

编码器-解码器（encoder-decoder）是语义分割领域中最重要的一种结构，它的核心思想就是先压缩，再解压，后续提到的绝大部分网络采用的都是这种原始的结构。在此基础之上，我们可以改变上采样方式，在论文中常常叫做微调编码器；也可以改变上采样方式，在论文中常常叫做微调解码器。通过这两种方式，我们就能创造出很多很多的种样式的神经网络~欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。【技术文档】《从零搭建pytorch模型教程》122页PDF下载。

FCN作为语义分割领域的开创者，重要性不言而喻。在FCN之前，计算机视觉领域的工作主要集中在对象检测和图像分类等方向，这些任务实现的是对图像进行分类、定位、边界框回归等操作。但是！一旦能够对输入图像进行像素级分割（像下面这样↓），这些任务就都能迎刃而解！语义分割示例FCN的出现就解决了这个问题：采用全卷积的结构可以对任意大小的图像进行像素级别的预测和分割！这一突破性的进展为语义分割任务的发展提供了强有力的支持和推动，使得在医学影像、自动驾驶、智能安防等领域实现高质量的语义分割成为可能。

CIFAR-100数据集的类别更细致，每个类别包含更多种类的物体，如CIFAR-10数据集的类别“鸟类”在CIFAR-100数据集中被分为“鸟类”和“昆虫”两个类别。除了准确率外，还有其他的模型精度评估指标，例如精确度、召回率、F1 分数等，这些指标通常用于解决不平衡分类或多分类问题，并且需要将模型的预测结果与真实标签之间的关系分成不同的情况进行考虑。MNIST是一个手写数字数据集，包含60000张28x28像素的训练图像和10000张测试图像，用于训练和测试基于图像的机器学习算法和深度学习算法。

网络剪枝（Network Pruning）是一种深度学习模型压缩技术，它的主要目标是通过去除神经网络中不必要的参数和连接，以减少模型的大小和计算量，从而实现模型压缩和加速的效果，同时减少模型的存储和运行成本，提高模型的泛化性能。其他的压缩技术还有低秩分解、量化、蒸馏等，由于这几种模型压缩技术是相互正交的，因此可以组合使用。

检测和分割是场景理解的关键部分，在机器人、无人驾驶、安防等领域有着广泛的应用。现有的大部分方法主要在正常的成像条件下进行，虽然在性能表现上较好，但是并没有考虑到不良条件（恶劣天气、低光照等）下的场景。现实中的场景是复杂多变的，包含着很多不良的条件给视觉算法带来不利的影响。下面我汇总了常见的不良感知场景，大概可以分为天气和光照两部分：雾天（Foggy）雨天（Rainy）雪天（Snowy）黄昏（Dusk）夜晚（Night）黑夜（Dark Night）比普通的夜晚更黑，只包含极少的光照。

视觉目标跟踪是计算机领域的一个重要问题。尽管近年来受到了广泛研究，目标跟踪问题由于本身的高难度、高质量数据的稀少，研究热度比目标检测、语义分割等基本视觉任务略低一些。深度学习的发展和计算机算力的增强带来了视觉算法性能的突飞猛进，而目标跟踪领域中基于深度神经网络的方法只在近几年才初见端倪，可谓大有可为。