京东AI:戴口罩人脸识别pytorch开源库

京东开源人脸识别项目faceX-zoo 简介: FaceX-Zoo是一个专为人脸识别而生的开源库,是目前准确率最高的开源人脸识别项目。FaceX-Zoo是基于PyTorch实现的。它提供了一个训练模块,其中有各种supervisory head和骨干网络,以实现最先进的人脸识别; 同时也提供了一个标准化的评估模块,该模块只需编辑一个简单的配置就可以评估大多数流行基准中的模型。此外,还提供了一个简单的功能齐全的face SDK,用于验证和初步应用训练过的模型。除了人脸识别,还针对实际应用开发了特定功能(如人脸戴口罩等)。 训练模块支持多种人脸图 阅读详情

项目介绍

该项目是JDAI开源的基于PyTorch的人脸识别工具箱,提供了一个包括目前主流backbone和head的的training module,一个标准化的人脸识别evaluation module,一个简单但是功能齐全的SDK,以及一系列的addition module。

项目地址:【 https://github.com/JDAI-CV/FaceX-Zoo 】

论文地址:【 https://arxiv.org/pdf/2101.04407.pdf 】

目前出色的开源人脸识别项目已有不少,例如InsightFace,face.evoLVe等。

本文主要分析该项目的优势和特点,以清晰的展示为什么已有这么多优秀开源项目的前提下,仍然需要FaceX-Zoo。

优势和特点

支持戴口罩人脸识别模型开发

由于新冠肺炎的影响,人们慢慢习惯于戴口罩出行,对戴着口罩的人脸进行识别给人脸识别算法带来了新的挑战。为了开发一个戴口罩人脸识别模型,需要三方面的前置条件:

(1)戴口罩人脸识别模型训练数据;

(2)戴口罩人脸识别模型测试benchmark;

(3)戴口罩人脸识别模型训练算法;

本项目中提供了所有上述前置条件。

问题描述: 如下图所示,左边为不戴口罩的底库人脸,右边为戴口罩的人脸,戴口罩人脸识别目的在于比对一张戴口罩人脸和不戴口罩底库人脸是否为同一个人。

  1. 戴口罩人脸识别模型训练数据 由问题描述可知戴口罩人脸识别模型的训练需要同时具有一个人戴口罩的人脸图片和不戴口罩的人脸图片。这样的数据采集成本是非常巨大的,甚至是不现实的。该项目设计了基于3D的虚拟口罩添加方式FMA-3D,该方法可鲁棒的在已有不戴口罩人脸数据上添加口罩,从而得到戴口罩人脸训练数据。相关算法原理如下图所示。

     

  2. 相比目前已有的众多基于2D的虚拟口罩添加方式,基于3D的添加方式能对大姿态等极端条件表现得更加鲁棒;相比一些基于GAN的虚拟口罩添加方法,该方法能几乎不损失原人脸的真实性。一些添加的样本如下图所示,第一行为原图,第二行为添加虚拟口罩后的图。 

  3. 戴口罩人脸识别测试benchmark 该项目基于MegaFace设计了大规模戴口罩人脸识别模型测试协议MegaFace-Mask。即将MegaFace测试中的Probe进行虚拟口罩添加并和百万人脸底库进行比对。值得一提的是,所有实现都基于Python实现,通过修改简单的配置即可进行测试。

  4. 戴口罩人脸识别模型训练算法 该项目对几种戴口罩人脸识别模型基准算法进行了比对,包括:(1)直接在普通数据上训练得到的模型model1;(2)在上半部分(眼部及以上)人脸数据上训练得到的模型model2;(3)在普通数据+添加虚拟口罩数据上训练得到的model3;(4)融合model2和model3得到的模型model4。四个模型精度对比如下图所示。 

浅层人脸识别解决方案

浅层数据即每个类(id)只包含极少数图片的数据,最典型的情况为每个类只包含两张图片,如下图所示。该类型数据在实际应用场景中极为常见,对该类数据进行传统的分类训练精度往往很差。

  

传统对该类型数据的训练方法往往是基于hard example mining的contrasive loss和triplet loss等,但是这些方法往往比较trick,难以调整。近年来self-supervised learning在图片分类领域非常火热,该项目将其思想应用到浅层人脸识别中,取得了很不错的效果,相关分析在ECCV 2020论文 Semi-Siamese Training for Shallow Face Learning 中。算法框架如下图所示。 

该项目将semi-siamese training作为与传统训练模式(conventional training)对应的一种新的训练模式。并提供了端到端的训练方案,只需在项目中进行简单配置即可对浅层数据进行训练。在浅层数据上,semi-siamese training与conventional training方式精度对比如下表所示。 

统一的测试协议

人脸识别中有许多测试benchmark,但其中大多数都是基于传统LFW和MegaFace的测试协议。不同benchmark的差异主要表现在测试数据和选取的测试pair上。该项目将这些benchmark进行了整合,只需要通过简单的修改即可在不同的benchmark上进行测试。此外项目还release了LFW和MegaFace的检测框和106点人脸关键点,这些检测框对原始官方release的检测框做了修正(只修正检测框不准的问题,对于一些官方给错检测框id的情况,为了保持测试的一致性,并未做修正)。测试模块的设计如下图所示。目前包含的测试benchmark包括:LFW, CPLFW, CALFW, RFW, AgeDB30, MegaFace 和MegaFace-mask,值得一提的是项目中将原始.bin的MegaFace用Python实现了一遍,测试精度与原始.bin版几乎完全一致。 

模块化设计并包含大多主流算法

该项目大多数模块都采用面向对象的方式进行设计,包括了state-of-the-art 的backbone和head。目前项目中包含的backbone和head如下所示。 

总结

该项目首先包括了自己差异化的一些东西,比如上述的戴口罩人脸识别、浅层人脸识别以及统一测试协议等解决方案。也尽可能的包含了目前state-of-the-art的算法,甚至还包含一个用来直观验证算法效果的python版SDK。可以说是一个既有明确优势特点也功能较为齐全的项目。作者也将从更多的方面去进一步完善项目,主要完善的方向为(1)更多的additional modules,比如人脸模型小型化,人脸解析等;(2)更多的state-of-the-art算法;(3)更高效的训练,包括混合精度训练、分布式训练等。

文末福利

各位猿们,还在为记不住API发愁吗,哈哈哈,最近发现了国外大师整理了一份Python代码速查表和Pycharm快捷键sheet,火爆国外,这里分享给大家。

这个是一份Python代码速查表

下面的宝藏图片是2张(windows && Mac)高清的PyCharm快捷键一览图

怎样获取呢?可以添加我们的AI派团队的Beyonce小姐姐

一定要备注【高清图】哦

????????????????????

➕我们的Beyonce小姐姐微信要记得备注【高清图】哦

来都来了,喜欢的话就请分享、点赞、在看三连再走吧~~~

Unity-Chan Toon Shader卡通渲染学习 2.0 (UTS2)是一款用于图像和视频的卡通着色器,旨在满足从事卡通着色 3DCG 动画的创作者的需求。二、从0-1复刻UTS21.漫反射UTS2的漫反射部分主要有三个层组成,分别是基本颜色、第一阴影色和第二阴影色,分别对应着美术理论中的白、灰、黑。 阅读详情

相关推荐

不止于HTTPS请求:用VS2022编译的libcurl玩转文件上传和代理设置

本文详细介绍了如何使用VS2022编译的libcurl库实现文件上传和高级代理配置。通过实战代码示例,展示了多部分表单上传、二进制数据上传以及各种代理设置技巧,帮助C++开发者提升网络编程能力。

weixin_28595749的博客 207

ICCV 2021 | 京东SynFace:基于生成数据的人脸识别

点击上方“机器学习与生成对抗网络”,关注星标获取有趣、好玩的前沿干货!本文转自AI科技评论作者 邱海波 编辑 王晔本文是对发表于计算机视觉领域顶级会议ICCV 2021的论文“Syn...

idol24的博客 943

群晖NAS安装HomeAssistant保姆级教程:从Docker部署到智能设备接入

本文提供了一份详尽的群晖NAS安装HomeAssistant保姆级教程,涵盖从Docker部署到智能设备接入的全过程。通过规划存储路径、配置容器环境变量和网络模式,确保系统稳定运行。教程还介绍了如何接入小米、苹果HomeKit等智能家居设备,并利用自动化与仪表盘打造本地化、高响应速度的智能中枢,实现数据隐私与远程控制的完美平衡。

play7的博客 700

人脸识别/戴口罩人脸识别 快速实现部署系统方案(Linux / Android)

人脸识别模型产出过程及部署 1.数据集的整理及清洗 ----使用公司自研 "聚类算法" 整理和清洗目前最大的两个人脸数据集MegaFace 与 微软亚洲数据集 同时结合公司内部数据整理出图片共计2000万张左右。 ----与铁路部合作整理人证数据集 50万个身份 用以提升人证比对效果。 2.人脸预处理 ----采用自研的图像处理算法对人脸进行 "中心矫正" 较小冗余信息,增加人脸纹理识别信息...

weixin_NineDays66 4922

从零构建:用Arduino和MCP2515模块搭建你的第一个CAN Bus网络

本文详细介绍了如何使用Arduino和MCP2515模块从零搭建CAN Bus网络,实现温湿度数据的传输与显示。涵盖硬件连接、软件配置、发送端与接收端代码实现,以及系统调试和进阶应用,帮助初学者快速掌握CAN总线通信技术。

d6e7f8的博客 834

让 SAP HANA 查询飞起来:彻底避开隐式类型转换的性能暗礁

SAP HANA性能优化:警惕隐式类型转换陷阱 隐式类型转换是SAP HANA项目中常见的性能隐患。当SQL表达式两侧数据类型不匹配时,系统会自动进行类型转换,这种看似便利的操作可能导致: 过滤条件无法下推,扫描范围扩大 列存引擎优势丧失,触发中间结果物化 执行计划走向低效路径 治理方案包括: 从源头统一数据类型,确保常用比较字段类型一致 将显式转换应用于常量而非整列 使用生成列预先转换存储,避免运行时计算 排查方法: 通过SQL Plan Cache定位高频查询 分析执行计划中的转换迹象 重点关注VARC

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 11万+

戴口罩的人脸识别

实现思路: 使用的是武汉大学公开的口罩遮挡人脸数据集,下载地址https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset。其中有一类是真实人脸口罩遮挡(多为明星),如图所示为白敬亭带着真口罩。需要注意的是每个明星的照片很少只有两三个,所以我没有将它split为训练集和验证集。载入数据集的时候,使用ImageFolder,将文件夹的名字作为标注。选择合适的分类网络进行训练即可。 踩过的坑: ① 在使用ImageFolder读取数据集.

石湖一叶 3231

ABB机器人与S7-1200PLC实现位置坐标数据发送和接收的具体方法

ABB机器人与S7-1200PLC实现位置坐标数据发送和接收的具体方法

Robot_PLC_HMI_Automation 2918

face.evoLVe 人脸比对测试

face.evoLVe和facenet相比经过测试前者要好,网上能找到的很多开源的资料都是关于facenet的,所以写一篇关于face.evoLVe的使用。想看源码的可以直接到github上看。 1. 代码下载 过程省略 把模型下载下来 2. 修改测试代码 代码和模型都准备好了需要修改一下代码进行人脸的特征提取 打开文件extract_feature_v2.py 修改成一下代码,添加一个...

yiweibian的博客 2780

BART non-Cartesian 重建:并行成像 压缩感知

本文主要使用并行成像和压缩感知方法实现non-Cartesian MRI 数据的重建。

张哥频道:电生理信号和磁共振成像 1182

Python之abbrobotegm包语法、参数和实际应用案例

`abbrobotegm` 是用于控制 ABB 机器人的 Python 接口包,主要通过 EGM(Externally Guided Motion,外部引导运动)协议与 ABB 机器人控制器进行通信,实现对机器人的实时位置控制、状态监控和运动引导等功能。该包适用于需要将 ABB 机器人与外部系统(如视觉系统、传感器等)集成的场景。

王国平的博客 1255

京东开源FaceX-Zoo,一站式人脸识别研究平台

本文转载自:“我爱计算机视觉” 微信公众号,如有问题,请联系作者删除。 近日,京东AI研究院开源了FaceX-Zoo,一个专为人脸识别而生的开源库,论文 FaceX-Zoo: A PyTorch Toolbox for Face Recognition 详述了其特点,不仅方便比较研究不同的方法,还针对实际应用开发了特定功能(如人脸戴口罩、Shallow Face Learning 等)。非常值得关注! 该文作者信息: 链接:https://arxiv.org/pdf/2101.04407.pdf

hallobike的博客 1450

YOLOv13改进策略【小目标改进】| Shape-NWD:融合改进,结合Shape-IoU和NWD 更好地适应小目标特性

Bw−wgt2h−hgt2weight2Bweight2w−wgt​2h−hgt​2​其中weight2weight = 2weight2。

Limiiiing的博客 591

不得不赞!京东开源FaceX-Zoo,一站式人脸识别研究平台

近日,京东AI研究院开源了FaceX-Zoo,一个专为人脸识别而生的开源库,论文 FaceX-Zoo: A PyTorch Toolbox for Face Recognition 详述...

我爱计算机视觉 884

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

重大更新!一文了解京东通用目标重识别开源库FastReID V1.0

2020年6月,京东 AI 研究院发布了基于PyTorch的通用目标重识别(ReID)开源库FastReID。经过了最近半年的持续优化,2021年1月18日京东AI研究院发布了更新版本Fa...

京东科技开发者 4868

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

FastReID:首个产业级通用目标重识别开源库

引言 京东AI研究院近日发布了基于PyTorch的通用目标重识别(ReID)开源库FastReID,其发布对相关领域的研究起到积极的促进作用,同时也加速技术产品落地应用。FastReID已经在行人重识别、车辆重识别上都取得了优异的评测结果,在京东内部,该技术已经获得广泛地应用于智慧园区、智慧楼宇、智慧供应链、线下零售等实际项目中。在刚公布的论文FastReID: A Pytorch Toolbox for General Instance Re-identification中详细介绍了该开源库的内容。 论.

京东科技开发者 1178

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

搜索结果去重_FastReID:首个产业级通用目标重识别开源库

引言京东AI研究院近日发布了基于PyTorch的通用目标重识别(ReID)开源库FastReID,其发布对相关领域的研究起到积极的促进作用,同时也加速技术产品落地应用。FastReID已经在行人重识别、车辆重识别上都取得了优异的评测结果,在京东内部,该技术已经获得广泛地应用于智慧园区、智慧楼宇、智慧供应链、线下零售等实际项目中。在刚公布的论文FastReID: A Pytorch Too...

weixin_39866867的博客 255

pytorch实现人脸识别_face_benchmark 高效人脸识别训练框架

前言 目前市面上常用的人脸识别训练框架是insightface,虽然作为刷榜神器的insightface很不错,但是静态图调试起来太累(动态图养成的病)。https://github.com/deepinsight/insightface​github.com 我曾经也想过用mxnet的gluon接口把insightface封装起来,但是gluon的多卡训练速度实在让人不敢恭...

weixin_39615991的博客 857

人脸口罩检测(含运行代码+数据集)Pytorch+TensorRT+Xavier NX

人脸口罩检测(含运行代码+数据集) 本教程目的为让开发者了解深度学习中的完整流程,这包括: 1.数据集导入及预处理流程 2.网络模型选择及参数设置流程 3.模型训练及导出流程 4.模型加载/优化并得出推断结果 项目源码以及数据集下载: https://download.youkuaiyun.com/download/kunhe0512/85360655 本教程采用了以下主要的软硬件环境: 1.NVIDIA Xavier NX 2.Jetpack 4.6 3.TensorRT 8.0.1 4.Pytorch 1

专注于人工智能领域的小何尚 1万+

【GitHub,开源项目】,人脸口罩检测

**上班划水在GitHub上看到一个有趣的开源项目,它能检测我们是否有戴口罩,测试后识别率挺高的,也能够适应不同环境,现在分享给大家,人脸口罩检测,检测人脸并判断是否佩戴了口罩, 并开源近8000张人脸口罩标注数据。 ** 项目链接:https://github.com/AIZOOTech/FaceMaskDetection 话不多说,上图看效果,测试地址:https://aizoo.com...

追心 4870

【GitHub开源项目实践】人脸口罩检测

昨天在GitHub上看到一个有趣的开源项目,它能检测我们是否有戴口罩,跑起程序测试后,发现识别率挺高的,也适应不同环境;于是分享给大家。 首先感谢AIZOOTech的开源项目--FaceMaskDetection ???? 人脸口罩检测工程--GitHub地址 测试环境 windows 系统; 软件:pyCharm; 使用模型:tenforflow ; 先看...

黎国溥 3万+

全球首发、业界第一:武汉大学开源口罩人脸识别数据集

By 超神经内容提要:武汉大学免费开放了全球首个口罩遮挡人脸数据集,包括近 10 万张真实戴口罩与正常人脸图像,以及 50 万张模拟戴口罩人脸图像。关键...

HyperAI超神经 5190

口罩人脸检测与分类开源代码汇总

最近因为疫情影响,口罩人脸检测与分类突然火了起来,首先是百度开源了相关模型,然后腾讯和阿里也分别称在云服务中提供了相关能力。今天CV君汇总了目前开源的口罩人脸检测与分类代码和口罩人脸数据...

OpenCV中文网 1554

口罩人脸识别

https://www.notion.so/87bf2f0f4a2e4abdb46647c2c222a944 放个笔记链接吧,我太懒了。。。

mengxt169的博客 1万+

人脸识别考勤机

人脸考勤机推荐 钉钉智能前台 人脸识别考勤机M2,轻松实现多人、远距离、毫秒级人脸识别,结合钉钉APP帮助企业实现智能 “无人前台、行政管家”。 0元购机计划:2018年3月31日前,原价购机,全额返还! 优点: 1.  3米多人0.6秒识别; 2.   极限光环境轻松识别 3.   4步2分钟,小白也能上手

github_34890445的博客 2571

统一操作系统 UOS 官网正式上线;旷视回应“戴口罩人脸识别”;IntelliJ IDEA 2019.3.3 发布 | 极客头条...

整理 | 屠敏快来收听极客头条音频版吧,智能播报由标贝科技提供技术支持。「极客头条」—— 技术人员的新闻圈!优快云 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技...

优快云资讯 2845
上一篇: 学好偏导竟能追到心仪的妹子
下一篇: 停止米聊,准备造车?小米最近动作不小
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值