FaceNet pre-trained模型以及FaceNet源码使用方法和讲解

最新推荐文章于 2024-03-31 14:50:42 发布
转载 最新推荐文章于 2024-03-31 14:50:42 发布 · 1.3k 阅读 · 1

Pre-trained models
Model name     LFW accuracy     Training dataset     Architecture
20180408-102900     0.9905     CASIA-WebFace     Inception ResNet v1
20180402-114759     0.9965     VGGFace2     Inception ResNet v1

 
Model name     LFW accuracy     Training dataset     Architecture
20170511-185253     0.987     CASIA-WebFace     Inception ResNet v1
20170512-110547     0.992     MS-Celeb-1M     Inception ResNet v1

模型下载链接：https://pan.baidu.com/s/1aiSq7wGpdHIe6MUKPnXgrA 密码：4dcn

20170512-110547（MS-Celeb-1M数据集训练的模型文件，微软人脸识别数据库，名人榜选择前100万名人，搜索引擎采集每个名人100张人脸图片。预训练模型准确率0.993+-0.004）

 
Ram内存要求
Neural Network Model     Task     Ram
MTCNN     Facenet#align()     100MB
Facenet     Facenet#embedding()     2GB
Inception ResNet v1

 
人脸识别数据库

 

 
数据库     描述     用途     获取方法
CASIA-WebFace     10k+人，约500K张图片     非限制场景     链接
FaceScrub     530人，约100k张图片     非限制场景     链接
YouTube Face     1,595个人 3,425段视频     非限制场景、视频     链接
LFW     5k+人脸，超过10K张图片     标准的人脸识别数据集     链接
MultiPIE     337个人的不同姿态、表情、光照的人脸图像，共750k+人脸图像     限制场景人脸识别     链接 需购买
MegaFace     690k不同的人的1000k人脸图像     新的人脸识别评测集合     链接
IJB-A           人脸识别，人脸检测     链接
CAS-PEAL     1040个人的30k+张人脸图像，主要包含姿态、表情、光照变化     限制场景下人脸识别     链接
Pubfig     200个人的58k+人脸图像     非限制场景下的人脸识别     

链接

VGG2:

 

-- Total number of images : 3.31 Million.

-- Number of identities : 9131 (train: 8631, test: 500)

-- Number of male identities : 5452

-- Number of images per identity : 87/362.6/843 (min/avg/max)

-- Number of pose templates : list of pose template for 368 subjects (2 front templates, 2 three-quarter templates and 2 profile templates, each template containing 5 images)

-- Number of age templates : list of age template for 100 subjects (2 young templates and 2 mature templates, each template containing 5 images)

 
人脸检测
数据库     描述     用途     获取方法
FDDB     2845张图片中的5171张脸     标准人脸检测评测集     链接
IJB-A           人脸识别，人脸检测     链接
Caltech10k Web Faces     10k+人脸，提供双眼和嘴巴的坐标位置     人脸点检测     链接
人脸表情
数据库     描述     用途     获取方法
CK+     137个人的不同人脸表情视频帧     正面人脸表情识别     链接
人脸年龄
数据库     描述     用途     获取方法
IMDB-WIKI     包含：IMDb中20k+个名人的460k+张图片 和维基百科62k+张图片, 总共： 523k+张图片     名人年龄、性别     链接
Adience     包含2k+个人的26k+张人脸图像     人脸性别，人脸年龄段(8组)     链接
CACD2000     2k名人160k张人脸图片     人脸年龄     链接
人脸性别
数据库     描述     用途     获取方法
IMDB-WIKI     包含：IMDb中20k+个名人的460k+张图片 和维基百科62k+张图片, 总共： 523k+张图片     名人年龄、性别     链接
Adience     包含2k+个人的26k+张人脸图像     人脸性别，人脸年龄段(8组)     链接
人脸关键点检测
数据库     描述     用途     获取方法
数据库     描述     用途     获取方法
人脸其它
数据库     描述     用途     获取方法
CeleBrayA     200k张人脸图像40多种人脸属性     人脸属性识别     获取方法

 

 

 

前提条件：已安装并配置好Tensorflow的运行环境。

第一步：准备facenet程序：

一、下载FaceNet源码。

下载地址：facenet源码
二、精简代码。作者在代码里实现了很多功能，但是对于初学者来说，很多代码是没有必要的，反倒找不到学习这个程序的入口。建议先精简一下代码，便于读懂代码：新建一个文件夹，取名：facenet，把源码中的src文件夹直接拷贝过来。
 

注：便于大家能够看懂代码，以上两步我已经完成，同时，自己运行程序之后，还对里边的代码做了详细的注释，如果想先了解facenet的源码，强烈建议下载这个，下载地址：facenet精简版

当然，大家别忘了顺手点个星哦~~~

 

第二步：下载预训练模型。
 

模型下载链接：https://pan.baidu.com/s/1aiSq7wGpdHIe6MUKPnXgrA 密码：4dcn
下载完成后，把预训练模型的文件夹拷贝在刚才的文件夹里。用pycharm打开这个工程文件如图：

 

 

第三步：运行人脸比对程序（compare.py）。

 

facenet可以直接比对两个人脸经过它的网络映射之后的欧氏距离。

-1、在compare.py所在目录下放入要比对的文件1.png和2.png。
-2、运行compare.py文件，但是会报错如下：
这是因为这个程序需要输入参数，在上方的工具栏里选择Run>EditConfigurations ,在Parameters中配置参数：20170512-110547 1.png 2.png。再次运行程序
 

可以看到，程序会算出这两个图片的差值矩阵

 

第四步：图片预处理——运行人脸对齐程序（align\align_dataset_mtcnn.py）。

我们可以下载LFW数据集用来测试这个程序，也为后边的训练函数做好数据准备。

下载链接：http://vis-www.cs.umass.edu/lfw/。下载后解压在data文件夹中。

 

因为程序中神经网络使用的是谷歌的“inception resnet v1”网络模型，这个模型的输入时160*160的图像，而我们下载的LFW数据集是250*250限像素的图像，所以需要进行图片的预处理。

在运行时需要输入的参数：

input_dir:输入图像的文件夹（E:\facenet\data\lfw E:\facenet\data\lfw）

output_dir:输出图像的文件夹（E:\facenet\data\lfw E:\facenet\data\lfw_160）

指定裁剪后图片的大小：--image_size 160 --margin 32 --random_order（如果不指定，默认的裁剪结果是182*182像素的）

比如我的是：E:\facenet\data\lfw E:\facenet\data\lfw_160 --image_size 160 --margin 32 --random_order

如果在pycharm中运行，按照同样的方法配置以上参数如下：

 

第五步：运行训练程序：（train_tripletloss.py）。

前边已经下载并处理好了LFW的数据集，现在，可以进行训练了。

运行之前，要在train_tripletloss.py中把加载数据的路径改成自己的数据集所在路径，如下图：

 

 

注：train_tripletloss.py和train_softmax.py的区别：这是作者对论文做出的一个延伸，除了使用facenet里提到的train_tripletloss三元组损失函数来训练，还实现了用softmax的训练方法来训练。当然，在样本量很小的情况下，用softmax训练会更容易收敛。但是，当训练集中包含大量的不同个体(超过10万)时，最后一层的softmax输出数量就会变得非常大，但是使用train_tripletloss的训练仍然可以正常工作。

 

最后，附上原来的文件中各py文件的作用（持续更新）：

 

一、主要函数

align/ ：用于人脸检测与人脸对齐的神经网络

facenet ：用于人脸映射的神经网络

util/plot_learning_curves.m:这是用来在训练softmax模型的时候用matlab显示训练过程的程序

 

二、facenet/contributed/相关函数：

1、基于mtcnn与facenet的人脸聚类

代码：facenet/contributed/cluster.py（facenet/contributed/clustering.py实现了相似的功能，只是没有mtcnn进行检测这一步）

主要功能：

① 使用mtcnn进行人脸检测并对齐与裁剪

② 对裁剪的人脸使用facenet进行embedding

③ 对embedding的特征向量使用欧式距离进行聚类

 

2、基于mtcnn与facenet的人脸识别（输入单张图片判断这人是谁）

代码：facenet/contributed/predict.py

主要功能：

① 使用mtcnn进行人脸检测并对齐与裁剪

② 对裁剪的人脸使用facenet进行embedding

③ 执行predict.py进行人脸识别（需要训练好的svm模型）

 

3、以numpy数组的形式输出人脸聚类和图像标签

代码：facenet/contributed/export_embeddings.py

主要功能：

① 需要对数据进行对齐与裁剪做为输入数据

② 输出embeddings.npy；labels.npy；label_strings.npy
---------------------  
 
原文：https://blog.youkuaiyun.com/MrCharles/article/details/80360461  
 

AIGC实战——GPT(Generative Pre-trained Transformer)
盼小辉丶的博客
03-11 1万+
注意力机制能够用于构建先进的文本生成模型，Transformer 是用于序列建模的强大神经网络，该神经网络不需要复杂的循环或卷积架构，而只依赖于注意力机制。这种方法克服了循环神经网络难以并行化的缺陷。Transformers 高度可并行化运算，能够在大规模数据集上进行训练。在本节中，我们将学习文本生成模型如何利用 Transformer 架构提高文本性能，并介绍自回归模型 GPT (Generative Pre-Trained transformer)。
Generative Pre-trained Transformer
xw555666的博客
03-20 1604
Generative Pre-trained Transformer (GPT) refers to a class of deep learning models developed by OpenAI, specifically designed for natural language processing tasks. GPT models are based on the transformer architecture and are pre-trained on vast amounts of
基于MTCNN+FaceNet的人脸检测与识别系统
dzcera的博客
02-15 6607
最近在整理出的上学期做的人脸识别复现，源码在git上改动不大。 Github链接：https://github.com/ALittleLeo/FaceRcognization/tree/master 引言 随着互联网技术的高速发展，互联网也进入了海量数据时代。在全球，每天约2EB的数据被产生。在各种类型的数据信息中，人脸数字图像数据是最重要的一种数据类型。所以越来越多的新型应用场景需要利用图像中的信息，而人脸图像数据作为一种直观高效的信息载体，包含了复杂多样的内容信息。 近年来，基于深度学习的OCR技术在人
原理讲解-项目实战 ＜-＞ Mtcnn + Facenet 搭建人脸识别平台
ww120624的博客
03-31 1822
MTCNN，英文全称是Multi-task convolutional neural network，中文全称是多任务卷积神经网络，该神经网络将人脸区域检测与人脸关键点检测放在了一起。总体可分为P-Net、R-Net、和O-Net三层网络结构。
如何应用MTCNN和FaceNet模型实现人脸检测及识别
02-25
本文于infoq.com，介绍了人脸检测与人脸识别，MTCNN模型，MTCNN模型推理，FaceNet模型，FaceNet模型推理等。人脸检测是对人脸进行识别和处理的第一步，主要用于检测并定位图片中的人脸，返回高精度的人脸框坐标及人脸特征点坐标。人脸识别会进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。目前人脸检测/识别的应用场景逐渐从室内演变到室外，从单一限定场景发展到广场、车站、地铁口等场景，人脸检测/识别面临的要求也越来越高，比如：人脸尺度多变、数量冗大、姿势多样包括俯拍人脸、戴帽子口罩等的遮挡、表情夸张、化妆伪装、光照条件恶劣、分辨率低甚至连肉
facenet模型
02-11
facenet模型、预训练模型； github：https://github.com/davidsandberg/facenet
facenet原理
weixin_44493841的博客
07-03 1451
facenet 简介 直接学习图像到欧式空间上点的映射，两张图像所对应的特征的欧式空间上的点的距离直接对应着两个图像是否相似。如下图： 上图一个简单的示例，其中图中的数字表示这图像特征之间的欧式距离，可以看到，图像的类内距离明显的小于类间距离，阈值大约为1.1左右。 如上图所示 batch ：是指输入的人脸图像样本，这里的样本是已经经过人脸检测找到人脸并裁剪到固定尺寸（例如160x160）的图...
facenet源码包下载
02-08
在下载和使用FaceNet源码包时，开发者应确保自己的开发环境已经配置好所需的依赖包和库文件，同时也需要关注源码包可能存在的版本更新和API变动。在项目中应用FaceNet技术时，还需要考虑数据的隐私保护和法律法规的...
Caffe Face Detector (OpenCV Pre-trained Model)Caffe人脸检测器（OpenCV预训练模型）-数据集
03-18
使用深度学习（而不是Haar级联）进行更准确的面部检测。这个经过预训练的模型是OpenCV库的一部分（从3.3版开始） architecture.txt Caffe Face Detector (OpenCV Pre-trained Model)_datasets..txt Caffe Face ...
pre-trained model.zip
06-19
标题中的"pre-trained model.zip"指的是预训练模型的压缩文件，这种文件通常包含了在大规模数据集上预先训练好的机器学习模型。预训练模型是深度学习领域的一个重要概念，它允许开发者利用已经训练好的模型作为基础...
facenet CASIA-WebFace模型20170511-185253.zip
02-01
facenet CASIA-WebFace模型20170511-185253.zip 百度云网盘共享，下载，不容易啊
MTCNN和facenet实现人脸检测和人脸识别python源码
04-27
MTCNN和facenet实现人脸检测和人脸识别 主要实现方式参考博客：https://blog.youkuaiyun.com/zhonglongshen/article/details/90202620
face-detect-MTcnn-faceNet:通过 Mtcnn 实现人脸的检测并且能够标注出来，然后利用facenet 通过计算实时检测的人脸数据与实现存储的数据进行对比计算，计算相似度，从而实现人脸的鉴别
05-01
face-detect-MTcnn-faceNet 工作平台： windos tensorflow pycharm opencv 总体功能： Mtcnn 实现人脸检测 faceNet ： 实现相似度计算 第一步：实现人脸检测功能（MTcnn） 最开始的时候使用的是opencv自带的人脸级联分类器进行人脸检测，但是 后来查一下资料说MTcnn能够实现的效果更好 ，所以尝试着用一下。 对于MTcnn 框架 是存在 PNet RNet ONet 三个网络架构级联成的，由于电脑渣渣 所以直接下载别人训练好的库 存在mode/文件夹下 （1）detect_face.py 文件实现了MTcnn人脸检测的相关函数 （2）face_detector_MTcnn.py 是对detect_face.py进行测试：实现了视频流下人脸的检测和定位功能 第二步：利用faceNet 实现两
mtcnn-align-facenet部署：本项目是利用mtcnn网络和facenet网络实现了一个简单的人脸识别功能。整体流程大致如下：首先利用mtcnn网络进行人脸检测和人脸关键点（5个）提取；接着利用人脸关键点进行人脸校正（仿射变换）；然后将校正之后的人脸图片送入facenet网络进行人脸特征（128维）提取；最后将提取到的人脸特征与底库中的人脸特征进行相似度计算（特征比对），完成人脸识别功能
02-09
mtcnn对齐facenet部署 项目简介 本项目参考了bubbliiiing的和两个工程，在此对作者表示感谢！ 这两个工程都是keras模型，所提供的模型文件都只有权重没有网络结构，我利用作者提供的网络定义和权重文件重新生成了带有网络结构的权重文件。某个原始先只有权重的模型文件pnet.h5 ，生成包含网络结构和权重的模型文件PNET.h5 。接着用keras2onnx工具把它（ PNET.h5 ）转换成onnx模型pnet.onnx ，其他胶水部分的逻辑没什么变化。具体的转换代码请参考keras_onnx.py文件。 另外我还尝试了将keras h5模型转成tensorflow pb模型，具体代码请参考h5_to_pb.py文件。需要注意的是：每个tensorflow PB请模型单独执行h5_to_pb.py脚本生成。 （每次修改weight_file参数） 如果你想简单地测试一下mt
墨尘目标检测5--mtcnn+facenet搭建人脸识别模型及训练自己的数据集
我是尘客哥
03-07 1610
什么是mtcnn和facenet 1、mtcnn MTCNN，英文全称是Multi-task convolutional neural network，中文全称是多任务卷积神经网络，该神经网络将人脸区域检测与人脸关键点检测放在了一起。总体可分为P-Net、R-Net、和O-Net三层网络结构。 ...
FaceNet使用简介
ygd11的专栏
06-18 1万+
FaceNet使用简介 Google工程师Florian Schroff，Dmitry Kalenichenko，James Philbin提出了人脸识别FaceNet模型，该模型没有用传统的softmax的方式去进行分类学习，而是抽取其中某一层作为特征，学习一个从图像到欧式空间的编码方法，然后基于这个编码再做人脸识别、人脸验证和人脸聚类等。所以FacceNet模型学习并输出的是脸部的特征表示，...
利用MTCNN和facenet实现人脸检测和人脸识别
热门推荐
AI吃大瓜的博客
12-09 6万+
利用MTCNN和facenet实现人脸检测和人脸识别 人脸检测和人脸识别技术算是目前人工智能方面应用最成熟的技术了。本博客将利用mtcnn和faceNet搭建一个实现人脸检测和人脸识别的系统。基本思路也很简单，先利用mtcnn的进行人脸检测，当然也可以使用其他的人脸检测方法，如Dilb，OpenCV，OpenFace人脸检测等等，然后再利用faceNet进行人脸识别，faceNet可简单...
这就是神经网络 15：深度学习-人脸检测-MTCNN
yuanlulu的博客
04-21 4147
概述 MTCNN是一个基于级联卷积神经网络的人脸检测和人脸对齐算法。其英文题目《Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks》。 本文原始的创意来自《A Convolutional Neural Network Cascade for Face Detection》，有人称它为...
Prompt-based Combinatorial Optimization with Pre-trained Language Models
最新发布
06-02
### Prompt-based Combinatorial Optimization Using Pre-Trained Language Models Prompt-based combinatorial optimization leverages pre-trained language models (LLMs) to solve complex optimization problems by encoding the problem as a textual prompt and using the model's generative capabilities to produce solutions. This approach has gained traction due to the versatility of LLMs in understanding structured inputs and generating structured outputs. #### Conceptual Framework Pre-trained language models are inherently designed to predict missing parts of text sequences, which aligns with the goal of combinatorial optimization: finding an optimal solution from a set of possible configurations. By framing the optimization problem as a natural language task, researchers have demonstrated that LLMs can approximate solutions effectively[^2]. The key lies in designing appropriate prompts that encode the problem constraints and objectives into a format understandable by the model. #### Implementation Approach To implement prompt-based combinatorial optimization, one must carefully design the input prompt to guide the model toward valid solutions. Below is an outline of the process: 1. **Problem Encoding**: Convert the combinatorial optimization problem into a textual representation. For example, a traveling salesman problem (TSP) might be framed as "Find the shortest route visiting cities A, B, C, and D exactly once." 2. **Prompt Design**: Construct a prompt that includes both the problem description and any necessary constraints. This step is crucial, as poorly designed prompts may lead to suboptimal or invalid solutions. 3. **Model Inference**: Use the pre-trained language model to generate potential solutions based on the prompt. Fine-tuning the model for specific tasks can further enhance performance[^3]. 4. **Post-Processing**: Validate and refine the generated solutions to ensure they meet all problem constraints. This step often involves integrating domain-specific knowledge or heuristics. #### Example Code Below is an example implementation using a hypothetical pre-trained language model to solve a simple combinatorial optimization problem: ```python import openai def solve_combinatorial_optimization(prompt): # Set up OpenAI API key openai.api_key = "your-api-key" # Generate response using GPT-3 response = openai.Completion.create( engine="text-davinci-003", prompt=prompt, max_tokens=100, temperature=0.7, n=1 ) return response.choices[0].text.strip() # Define the combinatorial optimization problem as a prompt problem_prompt = ( "You are tasked with solving the following optimization problem:\n" "Minimize the total cost of assigning workers to tasks.\n" "Each worker can only be assigned to one task, and each task must be assigned to exactly one worker.\n" "The cost matrix is as follows:\n" "[[90, 75, 75, 80], [35, 85, 55, 65], [125, 95, 90, 105], [45, 110, 95, 115]]\n" "Provide the optimal assignment of workers to tasks and the total minimum cost." ) # Solve the problem solution = solve_combinatorial_optimization(problem_prompt) print("Solution:", solution) ``` This code demonstrates how a combinatorial optimization problem can be solved by encoding it as a natural language prompt and leveraging a pre-trained language model like GPT-3 to generate solutions. #### Research Insights Research into prompt-based combinatorial optimization highlights the importance of prompt engineering and model fine-tuning. Studies have shown that larger models with extensive pre-training perform better in terms of accuracy and efficiency. Additionally, incorporating domain-specific knowledge into the prompt design can significantly improve results. #### Limitations While promising, this approach has limitations: - **Scalability**: Large-scale optimization problems may exceed the context window size of current LLMs. - **Accuracy**: Solutions generated by LLMs may not always be optimal or feasible without post-processing. - **Resource Intensity**: Running inference on large models can be computationally expensive. Despite these challenges, prompt-based combinatorial optimization represents a novel and powerful paradigm for solving complex problems using pre-trained language models.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值