一个可以模仿你的表情的语音聊天机器人——Facemoji 废萌（OpenCV+Dlib+Live2D+图灵机器人+讯飞IAT语音听写+讯飞TTS语音合成）

最新推荐文章于 2025-11-12 15:06:02 发布

原创

最新推荐文章于 2025-11-12 15:06:02 发布 · 9.2k 阅读

42 ·

CC 4.0 BY-SA版权

文章标签：

#Unity #Facemoji #OpenCV #Dlib #Live2D

Facemoji废萌是一款使用Unity开发的跨平台聊天机器人项目，它包含实时人脸卡通化模块，能够通过OpenCV和Dlib检测并转换面部表情为Live2D模型，并具备基于图灵机器人、讯飞IAT和TTS技术的语音及文字交互功能。

概述

本文介绍一个可以模仿你的表情的语音聊天机器人 —— Facemoji 废萌

这是个 Unity 项目，其暂时有两个模块：

【模块一】是实时人脸卡通化（FaceTracking），使用 OpenCV 和 Dlib 检测面部表情，并实时转化为 Live2D 模型，然后可录制成 gif 图；
【模块二】是人工智能（AI）使用图灵机器人、讯飞IAT语音听写、讯飞TTS语音合成进行语音聊天。

预览

Facemoji效果图_cn

源码

源码：Github . huihut/Facemoji</

最低0.47元/天解锁文章

18 条评论

傅翟凭 2019.12.01
作者你好，这是用什么语言开发的呀？
- huihut回复傅翟凭 2019.12.01
  [reply]qq_45603119[/reply] 用Unity3d引擎，C#语言

Operaboss 2019.05.06
博主你好，有没有在ubuntu上运行的类似facemoji的github项目或源码？
- huihut回复Operaboss 2019.05.07
  [reply]Operaboss[/reply] 还有这两篇博文会讲到一些原理：https://qiita.com/utibenkei/items/15925db826721f6bb00c、https://qiita.com/kenta71/items/f18c0092b14e74a1e6aa，这两位博主也是在这方面比较多研究的。
- huihut回复Operaboss 2019.05.07
  [reply]Operaboss[/reply] 我了解的都是使用Unity3d开发的，Unity3d是可以生成Linux桌面应用的，但是他们是否有对Linux适配我不清楚，这里推荐两个与Facemoji类似的项目：https://github.com/EnoxSoftware/CVVTuberExample、https://github.com/utibenkei/DlibFaceLandmarkDetectorWithLive2DSample

yuroshan 2019.03.20
作者你好，请问如果想要吧模型替换成Live2D官网的其他的模型，应该怎样替换，我在Cubism Editor 导出.moc 文件，然后在FaceTracing.cs文件中替换了路径，模型是修改了，可是不能根据人脸识别做出相应的动作，是不是我应该在Cubism Viewer 中编辑动作和表情呢？
- huihut回复yuroshan 2019.03.20
  [reply]yuroshan[/reply] 好像是要moc、physics、pose、texture这些东西，不只是moc的。可以看：https://github.com/huihut/Facemoji/blob/master/Assets/Scripts/FaceTracking.cs#L118 。我是用官方的，并不是自己从 Cubism 导出的，如果 Cubism 能导出这些动作的 json，那加进去修改应该可以的。

one named slash 2019.03.12
ArgumentException: The output Mat object has to be of the same size OpenCVForUnity.Utils.webCamTextureToMat (UnityEngine.WebCamTexture webCamTexture, OpenCVForUnity.Mat mat, UnityEngine.Color32[] bufferColors) (at Assets/Plugins/OpenCVForUnity/org/opencv/unity/Utils.cs:665) 作者你好，我首先在mac调试，这个报错是尺寸不一致导致，请问要怎么修改
- huihut回复one named slash 2019.03.13
  [reply]ghl1390490928[/reply] 你的意思是你在mac的unity编辑器中调试吗？这是不支持的，还以为你是mac连Android调试的。。。
- huihut回复one named slash 2019.03.13
  [reply]ghl1390490928[/reply] 如issue回复的：https://github.com/huihut/Facemoji/issues/8 ，你看看是哪种情况。

Alan_rickman 2019.01.04
Assets/Scripts/Recorder/Editor/MinDrawer.cs(35,4): error CS0104: `MinAttribute' is an ambiguous reference between `UnityEngine.MinAttribute' and `Moments.MinAttribute' 作者您好，在转换成android.apk时出现了这个脚本错误，请问是为什么？Facemoji_Plugins_Assets_1.5.0.unitypackage包已经导入了。
- huihut回复Alan_rickman 2019.01.04
  [reply]Alan_rickman[/reply] 这个错误是引用不明，把 Assets/Scripts/Recorder/Editor/MinDrawer.cs 第 35 行的 MinAttribute 改为 Moments.MinAttribute

ForMyDream！ 2018.12.30
Assets/Scripts/AI/IFly/IFlyVoice.cs(89,61): error CS1061: Type `string' does not contain a definition for `toJavaString' and no extension method `toJavaString' of type `string' could be found. Are you missing an assembly reference? 作者你好，这个报错是为什么啊？
- huihut回复ForMyDream！ 2019.01.05
  [reply]qq_43206595[/reply] 你build的平台是Windows吧？这个项目目前只适配Android，请切换到Android再build
- ForMyDream！回复huihut 2019.01.05
  [reply]huihut[/reply] UnityEditor.BuildPlayerWindow+BuildMethodException: Error building Player because scripts have compile errors in the editor at UnityEditor.BuildPlayerWindow+DefaultBuildMethods.BuildPlayer (BuildPlayerOptions options) [0x0021f] in C:\buildslave\unity\build\Editor\Mono\BuildPlayerWindowBuildMethods.cs:187 at UnityEditor.BuildPlayerWindow.CallBuildMethods (Boolean askForBuildLocation, BuildOptions defaultBuildOptions) [0x0007f] in C:\buildslave\unity\build\Editor\Mono\BuildPlayerWindowBuildMethods.cs:94 UnityEngine.GUIUtility:ProcessEvent(Int32, IntPtr) 现在出现这个错误，是脚本有问题吗 Assets/Plugins/DlibFaceLandmarkDetector/DlibFaceLandmarkDetectorWithOpenCVSample/WebCamTextureToMatHelper.cs(103,65): warning CS0618: `UnityEngine.ScreenOrientation.Unknown' is obsolete: `Enum member Unknown has been deprecated.'这里显示这个被弃用了
- huihut回复ForMyDream！ 2018.12.30
  [reply]qq_43206595[/reply] 有没有导入Facemoji_Plugins_Assets_1.5.0.unitypackage包？

gex1994 2018.03.09
这个没有驱动live2D的动画文件对吗可以加你的联系方式吗
- huihut回复gex1994 2018.03.09
  [reply]gex1994[/reply] 没有驱动，我的邮箱：huihut@outlook.com

kedobeast 2018.03.09
你好，请问百度网盘链接能修复一下吗？现在打不开了。谢谢
- huihut回复kedobeast 2018.03.09
  [reply]liuct2011[/reply] 谢谢，现在修复好了

gex1994 2018.03.06
感谢感谢
- huihut回复gex1994 2018.03.08
  [reply]gex1994[/reply] 这两天弄了下，现在 1.5.0 版本可以进行语音聊天了，放到了Github。
- huihut回复gex1994 2018.03.06
  [reply]gex1994[/reply] 现在dev分支的语音听写IAT、语音合成TTS都没有在Android上适配好，不过在Unity编辑器上可用；Android上只适配好图灵机器人，可以文字聊天。
- gex1994回复gex1994 2018.03.06
  [reply]gex1994[/reply]dex分支的现在能语音识别吗试了一下没有效果