金陵城中夜将沉的博客

该类继承自 BaseDataset，在其基础上增加了特定的数据预处理、采样和规范化功能。该数据集类的核心目的是管理和处理 3D 点云数据

此脚本的核心目的是搭建一个基于扩散模型（Diffusion Model）的策略生成架构，实现了一个基于扩散模型的点云策略类 DiffusionPointcloudPolicy，主要功能是使用点云数据作为输入，通过扩散模型生成动作（action）预测2. 推理阶段：使用点云观测条件，从随机初始化的序列中逐步生成符合条件的动作预测3. 损失函数：使用均方误差计算扩散模型预测与目标的偏差，优化模型参数

定义工作空间类，继承自 BaseWorkspace# 需要在检查点中包含的训练状态信息# 初始化工作空间# 设置随机种子，确保结果可复现# 配置模型，使用 Hydra 动态实例化# 如果启用了 EMA（指数移动平均），创建 EMA 模型try:self.ema_model = copy.deepcopy(self.model) # 尝试深拷贝模型except:# 如果模型某些组件（如稀疏张量引擎）无法拷贝，重新实例化# 配置优化器，动态加载优化器类型及参数# 初始化训练状态。

定义任务名称name: box# 定义输入输出的元数据，描述观测（obs）和动作（action）的形状和类型obs: # 定义观测数据的组成部分point_cloud: # 点云数据部分shape: [4096, 6] # 点云包含4096个点，每个点有6个维度type: point_cloud # 指定类型为点云agent_pos: # 低维特征，表示机器人的位置或状态shape: [32] # 低维状态表示为32维type: low_dim # 类型为低维特征

iDP3 数据采集后有一个跟重要的步骤—数据转换，即将采集到的数据转换为训练格式

虽然遥操作部分采用的是 Fourier GR1 人形机器人，但也可以根据自己使用硬件做相应脚本修改

此脚本的主要功能是将包含在 .h5 文件中的演示数据（图像、深度、点云、状态、动作等）转换为zarr格式的压缩数据存储，以便于后续处理使用

idp3.yaml 全逻辑可以总结为：任务定义: 训练一个扩散模型，用于点云数据的序列生成 ->数据编码: 使用PointNet对点云数据进行多阶段特征提取->扩散过程: 基于DDIMScheduler调度生成点云动作序列->训练优化: 使用AdamW优化器，通过余弦调度策略逐步降低学习率->结果管理: 配置检查点保存和日志记录，确保实验过程可控

在 train_policy.sh 接收命令行参数后，通过此脚本加载配置文件、初始化工作空间并运行训练流程

此脚本输入设置包括：算法名称、任务名称和其他配置信息，支持调试模式和训练模式，并集成wanb 作为日志记录工具

vis_dataset.py 主要作用在于点云数据的可视化，并可以做一些简单的预处理

vis_dataset.sh脚本调用vis_dataset.py文件以可视化 2D/3D 数据集

此脚本是iDP3 复现使用和外界通讯的关键脚本，如果想替换对应硬件，则需要更改此脚本

iDP3 和 DP3 架构一样，均采用了 Hydra框架，所以可以一起结合看

iDP3 采用了 realsense L515 激光雷达相机，但是并没有相关测试脚本，这一点 UMI 做的相对舒服一些，方便问题排查，因此在复现过程中写了一些测试脚本，开源方便大家复现少点麻烦首先安装 python api，此处注意务必采用推荐的 pyrealsense2==2.54.2.5684 版本，因为 L515 作为一款老产品新版本未经过适配测试

​Improved 3D Diffusion Policy (iDP3)是一种新的基于3D视觉的运动策略，使用了以自我为中心的3D视觉表征，现了人形机器人在不同场景中自主执行技能