CNN-based Cascaded Multi-task Learning of High-level Prior and Density Estimation for Crowd Counting

最新推荐文章于 2022-07-24 10:45:13 发布
最新推荐文章于 2022-07-24 10:45:13 发布
阅读量1.5k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_37973735/article/details/84975003
本文介绍了一种结合高级先验和CNN的级联多任务学习方法，用于人群计数。通过共享卷积层学习高级先验和密度估计，解决了尺度变化带来的挑战，提升了模型的鲁棒性和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Introduction

人群计数所面临的挑战之一是由视角畸变导致的外观和尺度变化。许多方法都将尺度信息合并到学习过程中。早期的方法是通过多源或者手工设计提取特征，但是这些方法在高密度人群中是无效的，而且结果不是最优的。目前基于CNN的方法开始应用在人群计数上。考虑到尺度问题是影响准确率的一个因素，有些基于CNN的方法通过多列网络或多分辨率网络解决这个问题。虽然这些方法对于尺度变化有一定的鲁棒性，但是不能作为一个通用的学习模型。

本论文的目的是将一个高级先验与网络合并，学习出一个满足数据集中各种密度等级的模型。高级先验先根据图中人的数量分为不同的带标签的组。利用标签，这个高级先验能大致估计整个图片中的人数，而不受尺度变化的影响，从而使网络能学到更多的判别全局特征。利用高级先验和CNN网络共同进行密度图的估计


在这里插入图片描述

这两个任务（人群密度估计和高级先验）共享一个卷积层，然后分为两个网络。将高阶先验学习到的全局特征与第二组卷积层获得的特征图连接起来，再由一组分阶条纹卷积层进一步处理，得到高分辨率密度图。

Related work

传统的人群计数依赖于手工提取低级特征，在这些特征和密度或数量间建立映射，通过不同的回归方法得出结果。Loy将这些方法分为三类：基于探测的方法、基于回归的方法和基于密度估计的方法。
基于探测的方法主要使用基于滑动窗口的探测算法计算图片中物体实例的数量，不适用于高密度人群和杂乱背景下。为了克服这些问题，研究人员试图通过回归来计算，在回归中他们学习了从局部图像中提取的特征与数量之间的映射关系。Idree利用相似的方法，融合了多个来源计数，同时还提出了含有50张图片，64000个人的数据集UCF_CC_50。
检测和回归方法在对全局计数进行回归时，忽略了图像中存在的关键空间

最低0.47元/天 解锁文章

200万优质内容无限畅学
人群计数最全代码、数据、论文合集
jacke121的专栏
03-15 9497
2021.11.19更新： 人群计数 /Crowd Counting Rethinking Counting and Localization in Crowds:A Purely Point-Based Framework(Oral) 论文/paper：https://arxiv.org/abs/2107.12746 代码/code：GitHub - TencentYoutuResearch/CrowdCounting-P2PNet: The official codes for the ICC.
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
crowdcount-cascaded-mtl:单图像人群计数（针对人群计数的高级先验和密度估计的基于CNN的级联多任务学习）
05-17
基于CNN的高级先验和密度估计的级联多任务学习，用于人群计数（单图像人群计数） 这是 算法的实现，该对单个图像人群计数 安装 安装pytorch 克隆此存储库 git clone https://github.com/svishwa/crowdcount-cascaded-mtl.git 我们将您克隆的目录称为“ crowdcount-cascaded-mtl ROOT 资料设定 下载ShanghaiTech数据集 投寄箱： ：//www.dropbox.com/s/fipgjqxl7uj8hd5/ShanghaiTech.zip dl 百度磁盘： ： 建立目录 mkdir ROOT/data/original/shanghaitech/ 将“ part_A_final”保存在ROOT / data / original / shanghaitech /下 将“ par
人群密度估计--CNN-based Cascaded Multi-task Learning of High-level Prior and Density Estimation for Crowd
AI小作坊 的博客
09-27 2954
CNN-based Cascaded Multi-task Learning of High-level Prior and Density Estimation for Crowd Counting International Conference on Advanced Video and Signal Based Surveillance (AVSS) 2017 Torch: http
神经网络 和 NLP —— Cascaded, Multi-task and Semi-supervised Learning
TangowL
12-15 1461
当初入门 NLP 读的《Netural Network for Natural Language Processing》，收获颇丰。入门后，改成了读 paper 和 code，没有完整读完这本书，最近得空，把后几章补上，算是完整吧。 不少内容在读 paper 时，已经深入了解过，这里就简单带过了，感兴趣的建议精读原书和参考文献吧。 本文介绍串联学习、多任务学习、半监督学习。 1 Cascaded...
Cascade CNN
wuhui868的专栏
04-20 4724
A Convolutional Neural Network Cascade for Face Detection思想：使用若干个简单的网络级联，合成一个强分类器 作者训练了6个网络，分类回归穿插，流程如下： 网络设计要点：1.第一级12-net要尽量快，保证召回率的同时，过滤大量非人脸，在每一个尺度，使用NMS，recall达到99% 2.第二级24-net的输入为第一级检测的样本，首先与g
人群密度统计网络思路笔记
muyun0211的博客
12-02 5194
1、CNN-based Cascaded Multi-task Learning of High-level Prior and Density Estimation for Crowd Counting                               Two sub tasks: crowd count classification and density map estima...
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
人群计数北航最新综述论文阅读：CNN-based Density Estimation and Crowd Counting: A Survey
Pikunikku的博客
07-07 1630
针对220项工作，讨论了现有主流方法（主要基于CNN）在各任务中有效的原因，对基本开放问题、挑战和未来方向的见解。 对模型设计、数据集收集以及一些推广到其他领域的重要问题进行了展望，包括领域适应或迁移学习，并探索了未来一些有前途的研究方向。 按网络结构，监督形式（有监督（常用）、半监督、若监督、无监督、自监督），学习范式（多任务（热点）/单任务），跨场景、跨域表现分类 基于单列网络的方法比基于多列网络的方法表现更好，即更深的网络比更广的网络要好。 最近的（2020年）Sota方法多采用了注意力机制，膨胀卷.
人脸检测之Cascade CNN
LeeWanzhi的博客
05-08 1547
这是2015年的CVPR，有点早，但是比较经典。 1. Introduction 本文的级联结构是把一系列浅层的网络集成到一起，可以有效的减小CNN的计算量。 本文工作直接从图片中训练分类器，而不是依赖人工选取的特征(15年以前的基本是先提取特征) 特点： 可以在12-net的低分辨率阶段快速剔除背景，在24-net的高分辨率阶段细致进行检测。(这句话看了后面的具体网络结构就知道什么...
《BDD100K: A Diverse Driving Dataset for Heterogeneous Multitask Learning》论文阅读笔记
AndrewGuo0930的博客
07-24 1471
BDD100K论文阅读笔记，针对MOT任务
论文笔记：Cascaded Pyramid Network for Multi-Person Pose Estimation（CPN）
牛顿爱吃香蕉的博客
06-04 1057
Cascaded Pyramid Network for Multi-Person Pose Estimation1、主要成果2、细节2.1、网络构成2.2、实验设置2.3、实验结果3、总结4、看法 1、主要成果 提出 CPN(Cascaded Pyramid Network)CPN(Cascaded~Pyramid~Network)CPN(Cascaded Pyr...
论文笔记-MTCNN-Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Network
Csuriwolf的博客
01-17 2534
论文笔记—MTCNN-Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Network-2016.11 Kaipeng Zhang. 本文提出一个新的框架使用统一的级联CNN通过多任务学习来集成人脸检测和特征点定位两个任务。提出的CNN包括三个阶段：（1）通过一个shallow CNN迅速产生candidate w
Multi-task Fully Convolutional Network for Brain Tumour Segmentation
zxyhhjs2017的博客
02-28 497
1.使用多标签分类将肿瘤分为complete,core,enhancing 1.通过三个阶段进行上采样，然后连接branch loss进行2分类，这三个branch分别是complete,core,ehancing 2.最后将三个concate给后面进行最后的5分类， 他的损失函数没看懂：？？？？ 训练： 使用brats2013上面的HGG的训练集,进行5折的交叉验证， ...
级联人脸检测--Detecting Faces Using Inside Cascaded Contextual CNN
AI小作坊 的博客
10-23 1800
Detecting Faces Using Inside Cascaded Contextual CNN ICCV2017这里也是使用级联思想来进行人脸检测，但是不是使用多个 CNN 网络来级联的，而是使用一个CNN中不同网络层来做级联的。简单的来说就是CNN网络的前几层完成简单的人脸检测，后面的网络完成难度较大的人脸检测。 同时使用 body part localization 来辅助人脸检测r
CNN网络分解--Factorized Convolutional Neural Networks
cv_family_z的博客
09-07 5024
ICML2016本文主要针对CNN网络的卷积运算进行深入分析，简化卷积运算。 Our model achieves accuracy of GoogLeNet while consuming 3.4 times less computation 本文和以前CNN网络简化工作最大的不同在于，以前都需要预训练完整的模型，在这个基础上简化完整模型，然后再微调简化后的模型。This limitation
计算机视觉论文-2021-07-07
中科院AI算法工程师的博客
07-08 2134
本专栏是计算机视觉方向论文收集积累，时间：2021年7月7日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Morphological Classification of Galaxies in S-PLUS Using An Ensemble of Convolutional Networks AUTHORS: N. M. CARDOSO...
Correlation Layer
PMPWDF的博客
10-09 2214
文章目录Correlation LayerContracting partWhat is correlation layer?具体实现 Correlation Layer Contracting part 我在看“A Survey on Deep Learning Techniques for Stereo-based Depth Estimation”时，在4.1.1中碰到了这句话： The main advantage of the correlation over the $ L2 $ distan
MTCNN (Multi-task Cascaded Convolutional Networks)
最新发布
12-30
### MTCNN (Multi-task Cascaded Convolutional Networks) 介绍 MTCNN 是一种专门针对人脸检测和对齐设计的多任务级联卷积神经网络架构。此模型通过三个阶段逐步细化候选区域，从而实现高效而精确的人脸定位与特征点标注[^1]。 #### 架构组成 整个系统由 P-Net、R-Net 和 O-Net 组成： - **P-Net**: 提供初步的脸部提议框，负责生成大量粗略的候选窗口； - **R-Net**: 对这些提议进行更细致的选择，去除大部分非脸部区域； - **O-Net**: 输出最终的结果，不仅提供更加精准的位置预测还能够标记出五官位置[^3]。 ### 工作原理 MTCNN 的核心在于其分层筛选机制以及如何利用不同尺度下的图像信息来提高检测准确性。具体来说，在每个子网内部都会执行如下操作： - 使用滑动窗遍历整张图片寻找可能存在的面孔； - 进行分类判断当前窗口内是否存在人脸； - 如果存在，则调整边界框大小并估计姿态角度； - 应用非极大值抑制算法消除冗余重叠矩形框； 随着流程推进到后续阶段，输入数据量逐渐减少但质量更高，使得计算资源得以有效分配给最有潜力成为真实人脸的目标上[^2]。 ### 实现方式 为了便于理解和部署，下面给出一段基于 Python 的简单示例代码展示如何调用预训练好的 MTCNN 模型来进行基本功能测试： ```python import cv2 from mtcnn import MTCNN detector = MTCNN() image_path = "input.jpg" img = cv2.imread(image_path) faces = detector.detect_faces(img) for face in faces: box = face['box'] keypoints = face['keypoints'] # Draw bounding boxes and facial landmarks on the image cv2.rectangle(img, (box[0], box[1]), (box[0]+box[2], box[1]+box[3]), color=(0, 255, 0), thickness=2) for keypoint_name in keypoints.keys(): point = keypoints[keypoint_name] cv2.circle(img, center=point, radius=2, color=(0, 0, 255), thickness=-1) cv2.imwrite('new.jpg', img) ``` 这段脚本会读取指定路径中的照片文件 `input.jpg` ，经过 MTCNN 处理后保存带有绘制好边框及关键点的新版本至同目录下名为 `new.jpg` 文件中[^4]。 ### 应用场景 由于具备出色的性能表现和技术优势，MTCNN 广泛应用于各种涉及视觉理解的任务当中，比如但不限于： - 自拍美化应用里自动识别人物轮廓以便施加滤镜效果； - 视频监控领域实时跟踪特定个体活动轨迹； - 身份验证服务确保用户身份真实性防止欺诈行为发生等。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值