Felaim的博客

计算复杂度问题像素空间中的扩散模型计算成本极高训练和推理都需要大量资源限制了模型的可访问性和应用细节与效率的权衡需要在复杂度降低和细节保留之间找到平衡过度压缩会丢失细节不压缩则计算成本过高条件生成灵活性需要支持多种条件输入（文本、边界框等）需要实现高分辨率合成的卷积方式首次在潜在空间中训练扩散模型，实现计算效率和质量的最佳平衡引入交叉注意力机制，支持灵活的条件生成优化下采样策略，在复杂度降低和细节保留之间达到近最优平衡两阶段训练策略，通用自编码器可重用于多个任务。

首次提出3DGS-based RL框架用于训练端到端AD策略创新结合RL和IL，实现协同优化，RL补充IL的因果关系建模，IL补充RL的人类对齐设计专门的安全奖励和密集辅助目标，解决稀疏奖励问题在闭环评估基准上验证有效性，碰撞率相比IL方法降低3倍提供完整的训练框架，包括奖励设计、动作空间优化、训练策略等。

离散化限制：基于VAE的方法使用离散标记，限制了连续空间表示能力几何先验依赖：BEV投影方法过度依赖显式几何先验，限制了模型的灵活性时空依赖性捕捉不足：传统方法难以有效捕捉复杂的时空依赖关系多帧预测能力有限：现有方法在预测多帧未来占用时表现不佳首次提出轨迹条件的稀疏占用世界模型，实现了端到端的多帧未来占用预测绕过BEV投影和离散化，采用稀疏占用表示，提升了模型的表示能力和计算效率基于Transformer的架构，有效捕捉时空依赖性，无需显式几何先验在nuScenes基准测试上达到SOTA性能。

现有端到端系统仅基于当前场景进行单次前向预测，在高度动态的交通环境中可能产生次优响应自车行为会改变未来场景，需要推理未来场景演化。