AI2-THOR 使用与启动教程

AI2-THOR 使用与启动教程

ai2thor An open-source platform for Visual AI. 项目地址: https://gitcode.com/gh_mirrors/ai/ai2thor

1. 项目介绍

AI2-THOR（AI2-Through Hoechest's Object Recognition）是一个开源平台，由Allen Institute for Artificial Intelligence（AI2）开发，旨在为视觉AI提供一个接近照片级的可交互框架。它包含多个环境（iTHOR、ManipulaTHOR、RoboTHOR），分别用于模拟不同的交互式AI研究，例如具身常识推理、机器人臂的视觉操作以及模拟与现实的对应研究。

AI2-THOR具备以下特点：

• 200+个定制的高质量场景。
• 2600+个经过精心设计的家居物体，涵盖100多种类型，每个物体都有详细的标注，支持近乎真实的物理交互。
• 多种代理类型支持，包括定制的LoCoBot代理、受Kinova 3启发的机器人操作代理以及无人机代理。
• 200+个动作，支持广泛的研究任务，如交互和导航基础上的具身AI。
• 支持多种图像模态和摄像头调整。
• 每个步骤后都有大量的环境状态信息可供使用，用于构建复杂的自定义奖励函数。

2. 项目快速启动

环境搭建

• 操作系统：Mac OS X 10.9+ 或 Ubuntu 14.04+
• 显卡：DX9（着色器模型3.0）或具有9.3功能级别的DX11。
• CPU：支持SSE2指令集的CPU。

安装

选择以下任一方式进行安装：

• 使用pip：

  pip install ai2thor
  

• 使用conda：

  conda install -c conda-forge ai2thor
  

• 使用Docker：使用AI2-THOR Docker配置，以便Unity 3D能够渲染场景。

最小示例

安装AI2-THOR后，运行以下代码以验证安装是否成功：

from ai2thor.controller import Controller
controller = Controller(scene="FloorPlan10")
event = controller.step(action="RotateRight")
metadata = event.metadata
print(event, event.metadata.keys())

3. 应用案例和最佳实践

AI2-THOR适用于多种研究场景，以下是一些应用案例和最佳实践：

• 场景理解：利用AI2-THOR中的丰富场景和物体进行场景分类、物体检测和语义分割等研究。
• 机器人导航：使用内置的代理和动作进行路径规划、导航任务和机器人控制。
• 物体操作：研究机器人臂如何抓取、移动和操纵物体。

4. 典型生态项目

AI2-THOR生态系统中的一些典型项目包括：

• Embodied AI Workshop：与CVPR等会议合作的研讨会，讨论具身AI的最新进展。
• AI2-THOR挑战：如 Rearrangement Challenge、ObjectNav Challenge 和 ALFRED Challenge，旨在推动AI2-THOR相关的技术研究。

通过以上教程，您可以开始使用AI2-THOR进行研究和开发。祝您使用愉快！

ai2thor An open-source platform for Visual AI. 项目地址: https://gitcode.com/gh_mirrors/ai/ai2thor