使用 Unity Sentis 实现AI换脸

大俊哥

已于 2024-06-03 13:53:47 修改

阅读量2.5k

点赞数 36

文章标签： unity 游戏引擎 ai

于 2024-06-03 13:51:18 首次发布

本文链接：https://blog.youkuaiyun.com/m0_55632444/article/details/139412519

版权

前言

使用 Unity Sentis 和 Compute Shader，det_10g.onnx 进行高效人脸五官定位-优快云博客需要用到该篇文章中的五个关键点信息进行人脸对齐。

模型分析

实现ai换脸的核心模型是inswapper_128.onnx;它的输入值有两个target和source，target是目标面部图片尺寸为（128*128*3），source是原图面部512个特征值。特征值是由w600k_r50.onnx模型获取；

代码比较简单直接传入模型即可。

 //获取面部特征值
 using (var input = TextureConverter.ToTensor(source, 112, 112, 3))
        { 
            worker.Execute(input);
        }
        _683 = worker.PeekOutput("683") as TensorFloat;




//执行换脸
 using (TensorFloat input = TextureConverter.ToTensor(target,128,128,3))
         {
             worker.Execute(new Dictionary<string, Tensor>()
             {
                 {"target",input},{"source",latentResult}
                 
             });
         } 
         var output = worker.PeekOutput("output") as TensorFloat;