【CrowdHuman】《CrowdHuman:A Benchmark for Detecting Human in a Crowd》

文章介绍了CrowdHuman,一个针对密集人群场景设计的大规模人体检测数据集,旨在推动人体检测技术的发展。数据集通过Google图片搜索引擎收集,并详细标注了全身体、可见身体和头部边界框。实验结果显示,该数据集对检测器如FPN和RetinaNet的预训练效果显著,且在交叉数据集评估中表现出良好的泛化能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在这里插入图片描述
arXiv-2018



1 Background and Motivation

现有人体检测公开数据集样本不够密集,遮挡也不够
在这里插入图片描述

Our goal is to push the boundary of human detection by specifically targeting the challenging crowd scenarios.

于是作者开源了一个密集场景的人体检测数据集

2 Related Work

  • Human detection datasets
    exhaustively annotating crowd regions is incredibly difficult and time consuming.
  • Human detection frameworks

3 Advantages / Contributions

开源了一个 larger-scale with much higher crowdness 的行人数据集——CrowdHuman,兼具 full body bounding box, the visible bounding box, and the head bounding box 标签,实验发现是一个强有力的预训练数据集

4 CrowdHuman Dataset

4.1 Data Collection

Google image search engine with ∼ 150 keywords for query.

搜索的关键字涵盖 40 different cities,various activities,numerous viewpoints,比如 Pedestrians on the Fifth Avenue

a keyword is limited to 500 to make the distribution of images balanced.

爬下来 ~2.5W 张,整理

15000, 4370 and 5000 images for training, validation, and testing respectively.

4.2 Image Annotation

先标 full bounding box

把 full bbox 裁剪出来,再标 visible bounding box 和 head bounding box

在这里插入图片描述

4.3 Dataset Statistics

Dataset Size / Diversity
在这里插入图片描述

Density
在这里插入图片描述
Occlusion
在这里插入图片描述
visible ratio 越小表示遮挡越严重,极限遮挡的话 CityPersons 还是会比 CrowdHuman 多一些

在这里插入图片描述
除了上面的二人遮挡,作者还统计了三人遮挡率

在这里插入图片描述

5 Experiments

检测器 FPN and RetinaNet

5.1 Datasets and Metrics

  • Caltech dataset

  • COCOPersons,64115 images from the trainval minus minival for training, and the other 2639 images from minival for validation.

  • CityPersons

  • Brainwash

  • Recall

  • AP

  • mMR,which is the average log miss rate over false positives per-image ranging in [ 1 0 − 2 , 1 0 0 ] [10^{−2}, 10^0] [102,100],越小越好

5.2 Detection results on CrowdHuman

先看看 visible bounding box 的检测结果

在这里插入图片描述
看看可见部分的检测示例

在这里插入图片描述
再看看 full bounding box 的检测结果

在这里插入图片描述
在这里插入图片描述
再看看人头检测

在这里插入图片描述
在这里插入图片描述

5.3 Cross-dataset Evaluation

看看其泛化性能

COCOPersons
在这里插入图片描述
可以看到用 CrowdHuman 预训练过后,再在 COCOPersons 上微调效果有提升

Caltech
在这里插入图片描述
CityPersons
在这里插入图片描述
Brainwash
在这里插入图片描述

6 Conclusion(own)

https://github.com/sshao0516/CrowdHuman

### GLUE 基准及其在自然语言理解 (NLU) 多任务评估中的应用 #### 什么是 GLUE 基准? GLUE(General Language Understanding Evaluation)基准是一种用于评估自然语言处理模型语义理解能力的多任务框架[^1]。它由一系列 NLU 任务组成,旨在全面衡量模型的语言理解和泛化能力。 #### GLUE 的任务构成 GLUE 包含 9 个核心任务,这些任务均涉及单句或双句的理解问题,具体如下: - **MNLI**(Multi-Genre Natural Language Inference):跨多个领域判断句子之间的推理关系。 - **QQP**(Quora Question Pairs):检测 Quora 上的问题是否重复。 - **QNLI**(Question-NLI):通过自然语言推断回答给定问题。 - **RTE**(Recognizing Textual Entailment):识别文本蕴含关系。 - **STS-B**(Semantic Textual Similarity Benchmark):测量两个句子间的语义相似度。 - **MRPC**(Microsoft Research Paraphrase Corpus):判定两句话是否互为同义表达。 - **CoLA**(Corpus of Linguistic Acceptability):预测句子语法和语义接受程度。 - **SST-2**(Stanford Sentiment Treebank):分析电影评论的情感倾向。 - **WNLI**(Winograd NLI):解决代词消解问题。 上述任务涵盖了多种语言现象,包括但不限于逻辑推理、情感分析以及语义匹配等。 #### GLUE 在多任务学习中的作用 为了更好地支持多任务场景下的 NLP 模型开发,研究人员提出了基于 GLUE 的解决方案。例如,在一篇来自微软的研究论文中提到一种名为 MT-DNN(Multi-Task Deep Neural Networks)的方法,该方法能够有效提升单一模型在多项 NLU 任务上的综合表现[^2]。 此外,还有其他工作扩展了传统意义上的 GLUE 设计理念。比如 ASR-GLUE 将自动语音识别引入到标准 NLU 测试集中,进一步考察当输入存在不同程度噪音干扰时系统的鲁棒性表现[^4]。 #### 实际案例展示 以 BERT 和其变体为例说明如何利用 GLUE 数据集进行实验验证。下图展示了 SST-2 这一特定子任务上几种主流架构的表现情况对比图表显示即使面对加入随机扰动后的样本集合,“人类级”的基线仍然难以超越某些精心设计的人工智能算法。 ```python import matplotlib.pyplot as plt # Sample data representing accuracy across different noise levels. noise_levels = ['Clean', 'Low Noise', 'Medium Noise', 'High Noise'] human_performance = [0.87, 0.85, 0.83, 0.78] model_a_accuracy = [0.92, 0.88, 0.86, 0.80] plt.figure(figsize=(10, 6)) plt.plot(noise_levels, human_performance, label='Human Performance') plt.plot(noise_levels, model_a_accuracy, label="Model A's Accuracy", linestyle="--") plt.title('Accuracy Comparison Between Human and Model Under Various Noises on SST-2 Task') plt.xlabel('Noise Levels') plt.ylabel('Accuracy Score') plt.legend() plt.grid(True) plt.show() ``` 此代码片段绘制了一条折线图用来直观呈现随着环境复杂性的增加两者之间差距的变化趋势。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值