【Unity6.0+AI】Unity版的Pytorch之Sentis-把大模型植入Unity

已于 2024-01-22 10:29:37 修改
阅读量3.4k 收藏 34
点赞数 22
分类专栏： Unity3D进阶与MR项目开发 文章标签： unity 游戏引擎
于 2023-12-25 17:24:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/leoysq/article/details/135204244
版权
本教程介绍了如何在Unity中使用Sentis集成AI模型，特别是Pytorch训练的模型需转换为ONNX格式。Sentis是一个本地推理引擎，支持在游戏或应用中运行AI模型，利用终端设备的计算资源。Sentis基于PyTorch的C++接口，提供GameObject和MonoBehaviour支持，允许在没有昂贵云服务器的情况下运行模型。教程涵盖了Sentis的安装、模型转换、加载和使用流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本教程详细讲解什么Sentis。以及恶补一些人工智能神经网络的基础概念，概述了基本流程，加载模型、输入内容到模型、使用GPU让模型推理数据、输出数据。

官方文档

Unity Sentis: Use AI models in Unity Runtime | Unity 主页介绍

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[Unity Sentis] Unity Sentis 详细步骤工作流程
unity尧明的博客
02-03 2503
Unity Sentis 详细步骤工作流程
unity+pytorch手写数字识别
ys999666的博客
03-21 3786
安装Barracuda https://docs.unity3d.com/Packages/com.unity.barracuda@1.0/manual/Installing.html using System.Collections; using System.Collections.Generic; using UnityEngine; using Unity.Barracuda; public class inference1 : MonoBehaviour { public NNMod.
Unity强大的动态天空系统——Azure Sky Dynamic Skybox v6.0.2
最新发布
gitblog_06794的博客
04-14 765
Unity强大的动态天空系统——Azure Sky Dynamic Skybox v6.0.2 【下载地址】Unity强大的动态天空系统AzureSkyDynamicSkyboxv6.0.2 Azure Sky Dynamic Skybox v6.0.2是一款专为Unity开发者打造的动态天空盒插件，能够为您的项目带来逼...
Unity接入大模型（小羊驼Vicuna，vLLM，ChatGPT等）
qq_72486113的博客
06-28 3917
实现在Unity内部的大模型访问，我也是第一次接触Unity中通过大模型url访问。此博客面向新手，旨在给大家简单理解大模型POST和GET过程，还有实现简单的大模型访问。
Unity使用人工智能模型进行数字识别（Sentis）
weixin_45972052的博客
05-23 750
Sentis 允许您将 ONNX 格式 的人工智能/ML 神经网络模型（来自 TensorFlow、PyTorch 和其他人工智能中心）导入 Unity 编辑器，然后在所有 Unity 支持平台上的用户设备上实时优化和运行推理。
Unity AI Sentis 基础教程
Maddie_Mo的博客
10-07 5052
Sentis 是 AI 模型的本地推理引擎，它利用最终用户设备上的计算，而不是云服务器。它可以在可以部署 Unity 运行时的任何位置运行。它取代了 Barracuda 并解决了我们在 Barracuda 处于早期原型阶段时收到的许多反馈。最重要的是，Sentis 可以以游戏速度运行许多神经网络。Sentis 目前处于开放测试阶段，公开发布时可用于商业用途。届时Sentis 将对所有 Unity 用户免费开放，并可用于无限制的本地推理。
使用 Unity Sentis 实现AI换脸
m0_55632444的博客
06-03 2485
需要用到该篇文章中的五个关键点信息。
【Unity6.0+AI】Sentis加载模型识别手写数字案例实现
leoysq的博客
12-26 1568
按照国际惯例，看效果：【Unity6.0+AI】Sentis加载模型识别手写数字案例实现下面的示例对一个手写数字进行了分类。准备工作：从 ONNX Model Zoo 下载手写识别 ONNX 模型文件，并将其拖入项目窗口的 Assets 文件夹。【下载模型】本案例提供了一个示例模型【编写脚本】将脚本附加到场景中。对于第一次使用AI模型的开发者，代码里面有很多概念需要详细吃透这段代码主要是在Unity Sentis中执行一个深度学习模型的过程。这行代码是从一个变量oneModel。
Unity-AI-Sentis系统的示例模型，便于学习和测试
12-25
Unity-AI-Sentis系统的示例模型，便于学习和测试
【Unity Sentis应用-手写数字识别】
安东尼的博客
02-20 1726
本文介绍的是使用Unity的AI工具Sentis，结合ONNX大模型，匹配手写数字的识别结果的简单应用。Unity Sentis是一款无缝集成自定义AI模型的工具，专为Unity引擎设计。该工具可以在Unity运行的各个平台上流畅运行，无需额外的优化。Unity Sentis允许大家将神经网络嵌入到他们的构建中，从而提供实时的体验，增强游戏玩法和功能在不同平台上的表现。
UnityImageSynthesisTutorial1：使用Unity生成合成图像，以在PyTorch和fastai中进行深度学习图像分割
02-06
该项目将帮助您快速掌握在Unity中生成综合训练图像的速度。 您不需要任何Unity经验，但是建议您具有Python和fastai库/课程的经验。 在本教程结束时，您将训练一个可以识别不同3D实体的图像分割网络。 在我的上阅读更多详细信息 跟随 入门 克隆仓库 使用Unity / Unity Hub打开项目（建议2018.3.2） 打开“实心”场景 创建一个“捕获/培训”和“捕获/ val”文件夹 如果要进行快速训练，请打开SceneControl对象并启用“保存/灰度”。 否则，请禁用这些功能，然后仅在Unity中查看注释。 按运行按钮 创建一个辅助游戏窗口，然后将基于图层的类别注释的
Unity Sentis首份教程来啦，利用AI模型创建先进功能
Peter的博客
12-14 1153
通过应用这个模型，用户可以在较小的项目中实现光线追踪功能，如光的折射和焦散区域光，这个方法并不会影响设备的性能。通过使用 TensorFlow 提供的 Super Resolution 分辨率增强（upscaling）模型，用户可以将游戏中的低分辨率图像、纹理增强为符合生产质量的图像、纹理，或者仅在需要时，辅助优化不同设备上的资产。例如，用户可以在 VR 项目中使用 Ultralytics 的 YOLO 模型，在游戏场景中检测物体，或者在 AR 项目里从设备摄像头中检测现实世界的物体。
[Unity Sentis] 使用 Unity Sentis 来利用人工智能模型创建新一代功能
unity尧明的博客
02-03 973
我们创建 Unity Sentis 是为了让开发人员能够将 AI 模型引入游戏和应用程序中。现在处于预发布的公开测试版中，Sentis 允许在所有类型的项目中实现复杂的功能，例如对象识别、语音识别和智能 NPC。
使用Unity sentis 实现手部识别及关键点定位
m0_55632444的博客
07-05 680
在当前的增强现实（AR）和虚拟现实（VR）领域中，精准的手部跟踪技术是提升用户体验的关键。利用 Unity 引擎和 Manus Core SDK，开发者可以实现高级的手部识别和关键点定位功能，为用户提供更自然、直观的交互方式。
使用Unity Sentis 实现无绿幕AI抠图
m0_55632444的博客
06-07 924
使用Sentis 实现实时无绿幕抠图。
[Unity Sentis] 了解 Sentis 中的模型
unity尧明的博客
02-03 382
英文原文：https://docs.unity3d.com/Packages/com.unity.sentis@1.3/manual/models-concept.html。
unity结合python
sxj676的博客
10-21 1130
然后用C#去调用这个exe文件，并传入所需要的必要的参数。像我自己由于要实现的功能，需要读取几个在unity运行中产生的文件，所以我是将那些文件保存后，再将需要用到的这些文件的路径保存在一个TXT文件中，然后在调用exe文件时直接传入TXT文件的路径作为参数，然后就可以通过读取该TXT文件获取到所有需要的文件了。这里的注意点是，路径最好用Application.dataPath（），这样方便在编辑器和打包出的结果中都能使用，在编辑器中它返回的路径就在Asset文件夹中，而打包的结果则在Data文件夹中。
Unity+百度文心大模型驱动AI小姐姐数字人
sinat_28962939的博客
09-12 6327
这次的文章简单介绍了百度文心大模型平台API的对接流程，并针对接口对接的流程进行了介绍，包括接口的鉴权、以及发送报文、响应报文的结构说明，并提供了针对全流程在unity端的实现代码示例。通过上述的代码实现，我们就可以在unity引擎中，使用百度文心大模型的api来驱动AI二次元小姐姐的对话交互。
Unity5.5+四川麻将单机版源码剖析
开发单机版游戏需要考虑游戏的用户界面、交互设计、游戏逻辑、AI（人工智能）等方面。在四川麻将的案例中，游戏AI将负责模拟其他玩家的行为，使玩家可以在没有其他玩家的情况下也能享受游戏。 ### Unity源码 当...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Unity耘上飞农

难题的解决使成本节约，求打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值