Facial Feature Embedded CycleGAN for VIS-NIR Translation 论文解读

最新推荐文章于 2023-10-12 23:11:26 发布
最新推荐文章于 2023-10-12 23:11:26 发布
阅读量1.5k 收藏 12
点赞数
分类专栏： GAN 风格转换 文章标签： 人脸识别 深度学习 NIR VIS转换 CycleGAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gangeqian2/article/details/114288915
版权

Facial Feature Embedded CycleGAN for VIS-NIR Translation

论文地址：Facial Feature Embedded CycleGAN for VIS-NIR Translation

这是来自武汉大学的一篇VIS 转NIR的论文
通常在可见光图像和红外图像存在两种情况转换：
IR2RGB: 这在异质人脸识别中使用较多，由于主动红外IR相机图像不受环境光线的影响，且在人脸反欺诈方面的优异性能，得到了广泛使用，但是当今大部分的开源数据集及模型在RGB上表现良好，因此有做法是将IR数据转换到RGB
RGB2IR： 这种应用主要是针对大量开源数据集均为彩色图像，因此对于IR的应用有必要将彩色图像转换到IR域，实现数据集共用。
可见光-红外跨模态人脸识别一直是一个具有挑战性的任务。
本文提出了一种基于CycleGAN，使用一个通用的人脸特征提取器（facial feature extractor FFE）来替代CycleGAN中的encode，实现图像转换。
在这里插入图片描述

本文中两点创新：
（1）、人脸特征提取器FFE替代encode
（2）、Pixel consistency Loss

最低0.47元/天 解锁文章
InsightFace又出新作！合成更真实更多样近红外人脸图片，助力“近红外-可见光”跨域人脸识别
强化学习曾小健
10-09 455
近红外（NIR）与可见光（VIS）的人脸匹配具有挑战性，因为存在明显的域差距，而且缺乏足够的数据进行跨模态模型训练。为了克服这个问题，作者提出一种新的方法来生成配对的近红外-可见光人脸图像。）损失，这不仅减少了近红外和可见光图像在域层面上的模式差距，而且鼓励网络关注身份特征，而不是人脸细节，如姿势和配件。基准上进行的广泛实验表明，所提出的方法可以达到与最先进的（SOTA）方法相当的性能，而不需要任何现有的。此外，为了促进身份特征的学习，还提出一个基于身份的。，其中包括近红外和可见光光谱中的各种姿势和身份。
Sketch-Face/NIR/VIS 数据集整理
qq_35422491的博客
06-13 6393
Sketch： 1、西安电子科大-VIPSL VIPSL Database is for research on face sketch‐photo synthesis and recognition. It includes 200 persons from the FERET database, the FRAV2D database, and the Indian Face Database...
2020 ICASSP之人脸识别：Facial Feature Embedded CycleGAN for VIS-NIR Translation
makabaka的博客
03-11 2871
Facial Feature Embedded CycleGAN for VIS-NIR Translation 当前的问题及概述： 由于两个模态的光谱成分的差异以及配对训练数据的不足，可见光-红外跨模态人脸识别仍然是一个具有挑战性的任务。 本文提出了一种将可见光人脸图像转换成伪近红外图像的方法，该方法通过嵌入CycleGAN的一种新的人脸特征来实现。 模型及loss： 嵌入CycleGAN的人...
GAN学习系列-CycleGAN
意境阑珊处的博客
07-28 1040
GAN学习系列-CycleGAN GAN学习系列-CycleGAN（1） CycleGAN是由GAN（生成对抗网络）演化而来的一个深度学习模型。众所周知，在一系列视觉问题上是很难以找到匹配的高质量图像作为target来供模型学习的，比如说对于一个模糊的图像，不一定找到与之对应的清晰图像，这使得一系列的深度学习模型的适应性十分有限。 CycleGAN的诞生使上述问题有了明显的改善。CycleGAN特点就是通过一个循环，首先将图像从一个域转换到另一个域，然后，再转回来，如果两次转换都很精准的话，那么，转换后的图
【CVPR 2021】通过GAN提升人脸识别的遗留难题
idol24的博客
04-24 2160
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！公众号文章标题“提升”应该为“解决”。1 A 3D GAN for Improved Large-pose Faci...
生成对抗网络在可将光到红外光跨模态风格迁移中的论文阅读
weixin_42881607的博客
07-14 4248
1、Facial Feature Embedded CycleGAN for VIS-NIR Translation motivation VIS-NIR人脸识别仍然是一项具有挑战性的任务，因为这两种模式的光谱成分之间的区别以及配对训练数据的不足。 本文在CycleGAN的启发下，提出了一种将VIS人脸图像转化为伪NIR图像的方法，该方法的目的是为了近似真实NIR图像的分布，并提出了一种新的人脸特...
论文阅读笔记之RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature Alignment
rytyy的博客
03-30 2072
RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature Alignment发表在ICCV2019上，是一篇利用GAN来解决基于RGB-IR的ReID问题的文章。 摘要 夜间行人重识别在视频监控、安防等领域有着重要的应用，但是该问题却没有被很好的解决。这主要是因为夜间红外行人图像和日间彩色行人...
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3510
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
denghe优快云的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
【AI】Datasets
最新发布
bryant_meng
10-12 791
然而，随着计算机视觉技术的进步，现实世界中的噪声图像去噪问题也随之而来。为了在实现并发真实世界图像去噪数据集的同时促进对该问题的研究，作者们构建了一个新的基准数据集，其中包含不同自然场景的综合真实世界噪声图像。这些图像是由不同的相机在不同的相机设置下拍摄的。Exclusively Dark (ExDARK) 数据集是 7,363 张从极低光环境到黄昏（即 10 种不同条件）的低光图像的集合，具有 12 个对象类（类似于 PASCAL VOC），在图像类级别和局部对象边界上进行了注释盒子。
用于VIS-NIR跨模式特征学习的多任务聚类ELM
03-20
用于VIS-NIR跨模式特征学习的多任务聚类ELM
CASIA数据库
12-04
CASIA是一个比较基础的中文情感数据库，快速建立自己的语音情感识别系统，
GAN模型-分析角度
omnispace的博客
09-02 779
这一学期看了一些GAN的东西，主要关注点在于GAN背后的数学模型，前一阵子，汇报完工作之后，梳理了一下脉络，因此主要是以ppt图片的形式写出，而且这几天做了一些修改，加了一点东西，希望思路更明确。 原文地址： https://zhuanlan.zhihu.com/p/27912062
CBSR近红外人脸数据集
VivienFu的专栏
03-13 1万+
人脸解锁和人脸支付这两年呼声和发展越来越快，但当前仅基于彩色图的人脸识别方式已经难以满足安全性的需要，因此大家纷纷开始探索使用红外图，深度图等方式来提升活体检测和人脸识别的精度。相关的研究必然需要依赖大量相关数据，但目前相关数据集很少，比如：红外人脸数据集，3D人脸数据集。在这里整理了几个能找到的近红外人脸数据集和3D深度人脸数据集。以下三个数据集都是中科院自动化所生物识别与安全技术研究中心CBS...
人脸活体检测数据库
qq_43880919的博客
01-26 2441
此篇博客主要整理人脸活体检测的数据集。 目前人脸活体攻击的方式主要有：照片打印、视频回放攻击、3D人脸面具等。因此数据集也是根据这些攻击方式制作的。 一共整理了11个活体检测的数据集。此外还整理了6个红外人脸数据集。 活体检测数据集 红外数据： IDIAP：msspoof: Multispectral-Spoof Database 1、NUAA http://parnec.nuaa.edu.cn/xtan/data/nuaaimposterdb.html 打印照片攻击，15个人，三次拍摄，每次地点照明各不相
ISP - CFA - 4x4 kernel (RGB-IR often used) - RGGB, RCCG, RCCB pattern
迟来大师的博客
07-07 4300
stardard RGB Bayer 4x4 RGB-IR 2x2 RGB-IR C: clear RCCB - 2x2 RGB RGGB
灰度图（IR 图）转成 RGB 图预览，画面出现光斑/黄斑问题解决
阿飞的博客
11-13 7671
一、背景 存在一个 IR 图（红外线 Infrared Radiation），需要在页面上显示出来，IR 图片格式是 gray8，即 8 位的灰度图。 Android 上的 Bitmap 图片格式使用的是 ARGB_8888，所以需要把灰度图转 ARGB 图，每个通道都为 8 位。 二、问题现象 转码思路很简单，就是一个 int 表示一个像素点，刚好是 4 * 8 = 32 位。 那么每一位的值都...
CycleGAN的介绍与实现效果
qq_45710342的博客
03-24 1万+
cyclegan、pytorch、损失函数
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值