Unity ML-Agents 中的 Sentis 神经网络推理引擎详解

Unity ML-Agents 中的 Sentis 神经网络推理引擎详解

ml-agents Unity-Technologies/ml-agents: 是一个基于 Python 语言的机器学习库，可以方便地实现机器学习算法的实现和测试。该项目提供了一个简单易用的机器学习库，可以方便地实现机器学习算法的实现和测试，同时支持多种机器学习库和开发工具。 项目地址: https://gitcode.com/gh_mirrors/ml/ml-agents

什么是 Sentis

Sentis 是 Unity 官方推出的神经网络推理引擎（原名 Sentis），它作为 ML-Agents 工具包的核心组件，允许开发者在 Unity 游戏环境中直接运行预训练的神经网络模型。这项技术的实现依赖于 Unity 的计算着色器（Compute Shaders）技术，能够在游戏运行时高效执行神经网络推理计算。

技术原理

Sentis 的工作原理可以概括为以下几个关键点：

1. 计算着色器驱动：利用 GPU 的并行计算能力加速神经网络运算
2. 运行时推理：在游戏运行过程中实时处理神经网络计算
3. 模型集成：将训练好的模型直接嵌入到 Unity 项目中

平台兼容性

Sentis 支持多种平台，但需要注意以下技术细节：

脚本后端选择

• IL2CPP：在独立构建中性能优于 Mono
• Mono：兼容性更好但性能稍逊

编辑器注意事项

• 当编辑器图形模拟设置为 OpenGL(ES) 3.0 或 2.0 模拟时，无法使用 GPU 设备
• 如果目标平台包含不支持 Unity 计算着色器的图形 API，可能会出现非致命构建错误

实际应用指南

模型导入与使用

1. 将训练好的模型文件拖拽到 Agent 组件的 Model 字段中
2. 在 Inspector 中选择推理设备（CPU 或 GPU）

设备选择建议

• CPU：适用于大多数 ML-Agents 生成的模型，通常性能更优
• GPU：仅在以下情况推荐使用：
  • 使用 ResNet 视觉编码器
  • 有大量使用视觉观察的 Agent

技术限制与注意事项

外部训练模型

ML-Agents 工具包仅支持使用其自身训练器创建的模型。这是因为：

1. 模型加载过程对常量和张量名称有特定约定
2. 虽然可以手动构造符合这些约定的模型，但官方不提供额外支持
3. 如需使用外部训练模型，建议直接使用 Sentis 而非通过 ML-Agents

非 Unity 环境推理

需要注意以下几点：

1. ML-Agents 不提供 Unity 环境外的推理支持
2. 训练生成的 .onnx 文件采用开放格式
3. 如需在其他环境使用这些模型，需要参考 ONNX 相关文档进行格式转换

性能优化建议

1. 对于简单模型，优先考虑 CPU 推理
2. 视觉处理密集型任务可尝试 GPU 加速
3. 大量 Agent 同时运行时，注意监控性能指标
4. 针对目标平台进行充分的性能测试

通过合理使用 Sentis，开发者可以在 Unity 项目中实现复杂的 AI 行为，为游戏和模拟环境带来更智能的交互体验。

ml-agents Unity-Technologies/ml-agents: 是一个基于 Python 语言的机器学习库，可以方便地实现机器学习算法的实现和测试。该项目提供了一个简单易用的机器学习库，可以方便地实现机器学习算法的实现和测试，同时支持多种机器学习库和开发工具。 项目地址: https://gitcode.com/gh_mirrors/ml/ml-agents