LOCA类别无关的目标统计算法详解（A Low-Shot Object Counting Network With Iterative Prototype Adaptation）

最新推荐文章于 2026-01-08 20:27:01 发布
原创 最新推荐文章于 2026-01-08 20:27:01 发布 · 609 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#原型模式 #深度学习 #人工智能 #python #多模态 #目标计数

视频讲解1：Bilibili视频讲解

视频讲解2：https://www.douyin.com/video/7592511338140683535

论文下载：[2211.08217] A Low-Shot Object Counting Network With Iterative Prototype Adaptation

 代码下载：https://github.com/djukicn/loca

https://github.com/KeepTryingTo

基于Zero-Shot的计数算法详解（T2ICount: Enhancing Cross-modal Understanding for Zero-Shot Counting）

统一的人群计数训练框架（PyTorch）——基于主流的密度图模型训练框架

算法VLCount详解（VLCounter: Text-aware Visual Representation for Zero-Shot Object Counting）

人群计数中常用数据集的总结以及使用方式（Python/PyTorch）

基于Zero-Shot的目标计数算法详解（Open-world Text-specified Object Counting）

基于zero-shot目标计数方法详解（Zero-Shot Object Counting）

基于Transformer的目标统计方法（CounTR: Transformer-based Generalised Visual Counting）

基于zero-shot目标统计算法详解（Zero-shot Object Counting with Good Exemplars）

开发词汇的目标计数COUNTGD:Multi-Modal Open-World Counting算法详解

Class-Agnostic Counting类别无关的统计算法讲解

基于无监督backbone无需训练的类别无关目标统计CountingDINO算法详解

        本文提出了一种低样本目标计数网络LOCA，通过迭代原型自适应方法解决现有计数算法忽略形状信息导致定位不准的问题。针对现有方法（如GMN、FamNet）通过特征池化丢失物体尺寸/长宽比信息、原型泛化能力有限等缺陷，LOCA创新性地分离处理示例的形状和外观信息。网络采用ResNet-50骨干提取特征，通过目标原型提取模块显式编码形状信息，再经深度互相关匹配生成响应图，最终回归为密度图实现计数。实验表明该方法在保持简洁架构的同时，有效提升了高密度场景和尺寸变化情况下的计数精度。论文代码已开源，为类别无关的统计算法研究提供了新思路。

目录

现有方法的局限性

提出的方法

具体方法

目标原型提取模块

自适应到zero-shot中

损失函数

实验结果

综合比较

消融实验

可视化实现

现有方法的局限性

忽略形状信息，导致定位不准：现有方法（如GMN, FamNet, CFOCNet等）通常通过特征池化​ 来从示例的边界框中提取固定大小的物体原型。这个过程是形状无关的，因为它将不同尺寸和长宽比的示例对象都池化到相同大小的特征图上。这导致了关键的物体形状信息（如尺寸、长宽比）的丢失。

原型泛化能力有限：由于形状信息的缺失，提取出的物体原型在图像中进行匹配时，定位精度会下降。这在高密度场景或物体尺寸变化大的情况下尤为明显，最终影响计数的准确性。

方法复杂化倾向：为了弥补上述缺陷，一些近期工作（如BMNet+）试图通过设计复杂的架构来学习非线性的相似度度量函数，但这增加了模型的复杂性和计算开销

提出的方法

图像特征提取：使用ResNet-50 backbone和全局自注意力块提取图像特征。

物体原型提取：这是本文的主要贡献。该模块显式地、分别地处理示例的形状和外观信息。

原型匹配：将学习到的物体原型与图像特征进行深度互相关，得到相似性响应图。

密度图回归：通过一个解码器将响应图上采样为最终的密度图，求和即得物体数量。

具体方法

目标原型提取模块

自适应到zero-shot中

损失函数

模型结构细节配置

        LOCA将输入图像的大小调整为H_IN = W_IN = 512像素，并应用swv[5]预训练的ResNet50骨干，将最后三个块的特征上采样到h = w = 64像素。这就产生了一个有3584个通道的激活图，通过一个1 × 1的卷积层进一步投影到d = 256个通道。全局自关注块是一个3层的变压器编码器。MHA模块由8个注意头组成，隐藏维数d = 256，而FFN的隐藏维数为1024。每个MHA和FFN模块后应用Dropout，概率为0.1。迭代自适应模块包含L = 3层，具有相同的MHA和FFN维度。对象原型空间大小为s × s， s = 3，不使用dropout。ground truth真密度图是通过在物体位置上放置单元密度并使用高斯核平滑生成的，高斯核的大小是为每个图像单独确定的。特别是，内核大小被确定为样例边界box平均大小的1/8。

实验结果

综合比较

消融实验

可视化实现

《A Low-Shot Object Counting Network With Iterative Prototype Adaptation》ICCV2023
qq_46981910的博客
09-03 1296
论文考虑了在图像中对任意语义类别的对象进行低样本计数的问题，这包括使用少量标注样本（少样本）或没有样本（无样本）的情况。提出了一种名为LOCA（Low-shot Object Counting network with iterative prototype Adaptation）的网络。LOCA的主要贡献是一个新的对象原型提取模块，该模块通过迭代融合样本的形状和外观信息以及图像特征来提取对象原型。这个模块很容易适应于零样本场景，使LOCA能够覆盖整个低样本计数问题的范围。
✅【文献阅读】（23ICCV）LOCA
2301_77549977的博客
08-05 711
我们考虑在图像中使用仅有少量标注样本（少样本）或没有样本（无样本）来对任意语义类别的对象进行低样本计数。标准的少样本流程包括从样本中提取外观查询，并将其与图像特征匹配以推断对象数量。现有方法通过特征池化提取查询，这忽略了形状信息（例如，大小和长宽比），导致对象定位精度和计数估计降低。低样本计数：指的是在只有少量标注样本的情况下进行对象计数，这通常是一个具有挑战性的任务，因为模型需要从有限的数据中学习并泛化到新的图像。少样本（few-shot）
⭕️【读论文】Learning Spatial Similarity Distribution for Few-shot Object Counting
2301_77549977的博客
08-12 926
少样本目标计数的目标是计算查询图像中与给定示例图像相同类别的对象数量。现有方法在2D空间域内计算查询图像与示例之间的相似度，并执行回归以获得计数数量。然而，这些方法忽略了有关示例图像上相似度空间分布的丰富信息，这对匹配精度产生了显著影响。为了解决这个问题，我们提出了一种学习空间相似度分布（SSD）的网络，用于少样本目标计数，它保留了示例特征的空间结构，并计算查询特征与示例特征之间的4D相似度金字塔点对点相似度，捕获4D相似度空间中每个点的完整分布信息。
✅【文献串读】Object Counting论文串读
2301_77549977的博客
08-05 1641
其次，我们展示了模型的性能在多个计数基准测试上显著提高了现有技术水平——当仅使用文本时，COUNTGD与所有以前的仅文本作品相当或更优，当同时使用文本和视觉样本时，我们超越了所有以前的模型；因此，我们只选择合理的对，从而提高了增强的质量。通过可视化中间相似性图和最终预测的密度图，我们发现我们的SAFECount从查询图像中清晰学习到的对象边界中获益匪浅，即使是在查询图像中密集堆积的对象也是如此。• 通过广泛的实验和可视化，我们证明了这两种设计的有效性，并且在基准测试中，我们的模型表现出色。
【复现代码】 LOCA
2301_77549977的博客
02-09 382
训练代码在 train.py，多 GPU 的分布式训练，在基于 SLURM 的系统例子在 两个.sh 脚本文件中；（我只有 macOS，到底应该怎么处理这种问题，没有 linux，更没有什么什么基于什么的作业系统，看b站）如果你想自己在 FSC147 数据集上训练 LOCA，你需要运行 密度图脚本生成文件。在本地多 GPU 系统上运行，使用 torchrun。dave 实在无能为力，先放过自己把。SLURM作业不懂，.sh 文件不懂。原论文中，关于环境的说明。注意，数据集文件路径。
基于无监督backbone无需训练的类别无关目标统计CountingDINO算法详解
Keep_Trying_Go的博客
01-04 1028
摘要：论文提出了一种基于自监督学习的零样本目标计数方法，通过DINO特征提取器和创新相似度图机制实现无需人工标注的开放世界计数。该方法解决了现有类别无关计数(CAC)方法对标注数据的依赖问题，采用ROI-Align提取示例特征，通过卷积生成相似度图并归一化为密度图。通过图像分块处理增强空间分辨率，实验验证了方法的有效性。相关代码已开源，论文可访问arXiv获取。
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【读文献】DAVE – A Detect-and-Verify Paradigm for Low-Shot Counting
2301_77549977的博客
08-20 864
低样本计数器估算与选定类别对应的对象数量，基于图像中仅有少量或没有标注的示例。目前最先进的技术通过对象位置密度图的总和来估算总数量，但这种方法无法提供单个对象的位置和大小，而这些信息对许多应用至关重要。基于检测的计数器可以解决这一问题，但在总数精度上有所欠缺。此外，这两种方法在存在其他类别对象时，往往会因为许多误报而高估数量。我们提出了DAVE，这是一种基于“检测和验证”范式的低样本计数器，通过首先生成高召回率的检测集，然后验证检测结果以识别并删除异常值，从而避免上述问题。
如何新加netlink
ACMIII的博客
01-07 343
摘要：本文详细介绍了在Linux内核中添加Netlink指令的两种方法。推荐使用Generic Netlink（genl）方式，它通过动态分配family ID、支持多命令和属性、提供内置权限控制，无需修改内核头文件。文章展示了实现MY_CMD_ECHO命令的完整代码示例，包括命令定义、属性验证、处理函数和用户空间调用。同时对比了传统的原生Netlink方式，指出其需要固定协议号、手动解析等缺点。建议新开发优先采用Generic Netlink，仅维护旧代码时考虑原生方式。
设计模式-原型模式
a353541382的博客
01-06 356
在一款 RPG 游戏中，需要生成大量同类型但属性略有差异的怪物（比如 “哥布林”“兽人”）。每个怪物包含基础属性（血量、攻击力）、技能列表、装备列表等复杂数据，直接通过构造函数创建会重复加载资源（如技能配置、装备模型），性能开销大。使用原型模式：先创建一个 “原型怪物”（加载好所有基础资源），后续新怪物都通过克隆原型生成，仅修改少量差异化属性（如血量、位置）。
如何解决recv被业务阻塞导致的 netlink 消息丢失问题？
dlz0836的博客
01-04 64
UINT64 ts;关键点不要把 netlink 原始 buf 直接传下去只传“状态变化所需的最小信息”
[JavaEE] Spring Boot 日志
2402_83046353的博客
01-07 997
日志就是程序在运行过程中记录下来程序所做的工作。日志门面： SLF4J日志实现：log4J JUL logback这里的日志门面相当于是一种规范，不具体实现操作，而是直接调用日志实现的框架，具体的操作实现由下面三个框架去实现。上面的这种设计模式就是门面模式，提供一个统一的接口去使用，这个接口再去调用其他子接口，更方便的去调用子接口。比如我们想要关家里的灯，但是需要关很多开关但是此时我们可以设置一个总开关，来控制所有的灯，直接关闭这个总开关就可以关闭所有的灯。//开灯//关灯。
abstract 类,里面引用@Autowired ，使用注入类的方法，报空指针异常
weixin_43617546的博客
01-07 187
Autowired。
设计模式之原型模式
sxlishaobin的博客
01-06 296
原型模式属于创建型设计模式，用于创建重复的对象，且同时又保证了性能。该设计模式的好处是将对象的创建与调用方分离。其目的就是**根据一个对象(称为原型)创建一个与其完全相同的对象(当然内存地址不同)**原对象被认为是新对象的原型。原型模式用于创建具有相同属性的重复对象。原型模式的实现就是实现Cloneable接口 + 重写clone()方法实现的。Object类的clone()方法实现由JVM实现，性能较好。但仅能实现浅拷贝。
【设计模式】原型模式（Prototype Pattern）详解
经天纬地，格物致理
01-04 760
摘要： 原型模式通过复制已有对象（原型）来创建新对象，避免重复初始化带来的性能开销。核心思想是“拷贝”而非重新构造，适用于创建成本高、对象差异小的场景。Java通过Cloneable接口支持原型模式，但需注意浅拷贝（仅复制对象本身）与深拷贝（复制对象及引用对象）的区别。优点包括提高性能、简化创建过程，缺点在于实现复杂且可能破坏封装性。典型应用包括Spring的prototype作用域、游戏角色复制等。使用时应权衡对象创建成本，避免过度设计。
深度学习—卷积神经网络（4）
weixin_62919816的博客
01-03 243
感受野(Receptive field）深度学习—卷积神经网络（4）
如何评估 CNN 模型在验证码识别任务中的性能？
Data_agent19970108018
01-04 850
摘要：验证码识别作为多字符序列分类任务，需关注整串准确率（业务核心）和单字符准确率（问题定位）。核心指标包括整串准确率（≥90%实用）、单字符准确率、混淆矩阵（定位易混淆字符）及推理速度（≤100ms/张）。评估需独立测试集（≥1000样本），通过损失曲线判断过拟合/欠拟合。调优方向包括：整串错误优化预处理或CTC模型，单字符错误补充样本，过拟合增强数据或轻量化模型，速度慢则量化或硬件加速。进阶测试需涵盖噪声、跨场景及概率阈值优化。评估旨在针对性改进，需综合多指标而非仅看准确率。
深度学习VS强化学习：预测与决策的本质差异
最新发布
qq_65632993的博客
01-08 624
摘要：深度学习和强化学习是人工智能的两大分支，但本质不同。深度学习通过静态数据学习函数映射，目标是预测误差最小化；强化学习通过环境交互学习决策策略，追求长期收益最大化。两者在数据来源（固定vs动态）、反馈信号（密集vs稀疏）、核心挑战（泛化vs探索）等方面存在显著差异。深度强化学习是两者的结合，但实际应用中强化学习落地难度更高。选择方法时需根据任务特性：预测任务用深度学习，长期决策任务用强化学习。理解两者的"问题范式"差异比模型结构更重要。
基于深度学习的车牌识别系统
qq_35827191的博客
01-02 1318
本文提出了一种基于深度学习的车牌识别系统解决方案，采用模块化设计架构，包含车辆检测(YOLOv3-tiny)、车牌定位(RetinaNet)和字符识别(LPRNet)三大核心模块。系统通过轻量级模型实现实时处理能力，利用特征金字塔网络和Focal Loss优化小目标检测效果，并采用端到端的字符识别方案。文章详细阐述了技术选型依据、网络结构原理、代码实现细节及环境配置要求，为车牌识别系统的开发提供了完整的实践指导。该系统可广泛应用于智能交通、安防监控等场景，具有良好的实用价值。
@amap/amap-jsapi-loader的Loca
05-20
### 关于 `@amap/amap-jsapi-loader` 中 Loca 的使用方法与功能 `@amap/amap-jsapi-loader` 是一个用于加载高德地图 JavaScript API 的工具库，它支持通过配置参数来动态加载高德地图的功能模块以及扩展插件。其中，Loca 是高德地图提供的一款可视化渲染引擎，主要用于实现复杂的数据可视化效果[^1]。 #### Loca 的基本概念 Loca 提供了一种高效的方式来处理大规模地理数据的渲染和交互。它的核心功能在于能够将各种类型的地理数据（如点、线、面）转换为可视化的图形，并支持多种样式定制和动画效果。Loca 支持的地图层类型包括但不限于热力图、轨迹图、网格图等[^2]。 #### 配置 Loca 参数的方式 在使用 `@amap/amap-jsapi-loader` 加载 Loca 时，可以通过传递 `Loca` 对象到 `load` 方法中的配置项完成初始化： ```javascript import AMapLoader from '@amap/amap-jsapi-loader'; AMapLoader.load({ key: "您的高德地图API Key", // 替换为您自己的Key version: '2.0', plugins: [], // 如果需要其他插件可以在此处添加 Loca: { version: '2.0.0' // 指定 Loca 的版本号 } }).then((AMap) => { console.log('Loca 已成功加载:', AMap.Loca); }).catch(err => { console.error('加载失败:', err); }); ``` 上述代码展示了如何通过 `Loca` 属性指定其版本号并加载该组件。一旦加载完成后，即可通过 `AMap.Loca` 访问 Loca 实例[^1]。 #### 常见功能示例 ##### 1. 绘制热力图 以下是利用 Loca 创建热力图的一个简单例子： ```javascript // 初始化地图实例 let map = new AMap.Map('container', { zoom: 11, center: [116.397428, 39.90923] }); // 使用 Loca 渲染热力图 let locaData = [ {lnglat: [116.397428, 39.90923], value: 1}, {lnglat: [116.407428, 39.91923], value: 2} ]; let heatmapLayer = new AMap.Loca.HeatmapLayer({ style: { radius: 25, opacity: [0, 0.8], gradient:{ 0.2: 'blue', 0.4: 'cyan', 0.6: 'lime', 0.8: 'yellow', 1.0: 'red' } }, visible: true }); heatmapLayer.setDataSet({data: locaData, lngLat: ['lnglat'], value: ['value']}); heatmapLayer.addTo(map); // 添加到地图中 ``` 此代码片段定义了一个简单的热力图层，并将其绑定至地图实例上显示出来。 ##### 2. 轨迹绘制 除了热力图外，Loca 还擅长表现移动物体的历史轨迹或者预测路线等功能。下面是一个关于轨迹绘制的例子： ```javascript let trajectoryData = [{ path: [[116.397428, 39.90923],[116.407428, 39.91923]], time: [new Date().getTime(), new Date().getTime() + 10 * 1000] }]; let lineLayer = new AMap.Loca.LineLayer(); lineLayer.source(trajectoryData, { lnglat: 'path', time: 'time' }); lineLayer.setStyle({ width: 5, color: '#FF0000' }); lineLayer.addTo(map); ``` 这段脚本实现了基于时间戳变化的一条红色线条随时间推移逐渐显现的效果。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值