Waymo开放数据集：Sim Agents挑战赛提交常见错误解析
项目地址: https://gitcode.com/gh_mirrors/wa/waymo-open-dataset 前言
自动驾驶仿真代理（Sim Agents）挑战赛是Waymo开放数据集中的重要竞赛，旨在评估多智能体仿真系统的真实性和可靠性。然而，许多参赛者在提交过程中会遇到各种技术问题，导致提交被拒绝或评分不准确。本文深入解析Sim Agents挑战赛提交过程中的常见错误，帮助开发者避免这些陷阱，确保提交的有效性。
提交格式要求与常见错误
1. 仿真轨迹长度错误
错误现象：提交的仿真轨迹长度不符合要求
# 错误示例：轨迹长度不正确
simulated_trajectory = sim_agents_submission_pb2.SimulatedTrajectory(
center_x=[0.0] * 79, # 应为80步
center_y=[0.0] * 79,
center_z=[0.0] * 79,
heading=[0.0] * 79,
object_id=123
)
# 正确示例：80步仿真
simulated_trajectory = sim_agents_submission_pb2.SimulatedTrajectory(
center_x=[0.0] * 80, # 正确的80步
center_y=[0.0] * 80,
center_z=[0.0] * 80,
heading=[0.0] * 80,
object_id=123
)
技术规范：
- 仿真步数：80步（对应8秒，10Hz频率）
- 时间索引：第11步（1-indexed）为当前时间步
- 必须包含所有四个坐标字段（center_x, center_y, center_z, heading）
2. 仿真对象缺失错误
错误现象：未包含所有需要仿真的对象
# 错误示例：缺失某些需要仿真的对象
sim_agent_ids = [1, 2, 3] # 实际需要仿真的对象ID为[1, 2, 3, 4, 5]
simulated_trajectories = []
for obj_id in [1, 2, 3]: # 缺失对象4和5
# 创建轨迹...
# 正确示例：包含所有需要仿真的对象
config = submission_specs.get_submission_config(ChallengeType.SIM_AGENTS)
sim_agent_ids = submission_specs.get_sim_agent_ids(scenario, ChallengeType.SIM_AGENTS)
simulated_trajectories = []
for obj_id in sim_agent_ids: # 包含所有对象
# 创建轨迹...
验证逻辑：
3. 并行仿真数量错误
错误现象：并行仿真数量不符合32个的要求
# 错误示例：只有24个并行仿真
scenario_rollouts = sim_agents_submission_pb2.ScenarioRollouts(
joint_scenes=[joint_scene] * 24, # 应为32个
scenario_id=scenario.scenario_id
)
# 正确示例：32个并行仿真
scenario_rollouts = sim_agents_submission_pb2.ScenarioRollouts(
joint_scenes=[joint_scene] * 32, # 正确的32个
scenario_id=scenario.scenario_id
)
配置要求：
# 官方配置参数
_SIM_AGENTS_SUBMISSION_CONFIG = SubmissionConfig(
current_time_index=10, # 当前时间索引（0-indexed）
n_simulation_steps=80, # 仿真步数
n_rollouts=32, # 并行仿真数量
step_duration_seconds=0.1, # 步长时间（秒）
)
4. 场景ID缺失错误
错误现象：未设置scenario_id字段
# 错误示例：缺失scenario_id
scenario_rollouts = sim_agents_submission_pb2.ScenarioRollouts(
joint_scenes=joint_scenes
# 缺少 scenario_id=scenario.scenario_id
)
# 正确示例：包含scenario_id
scenario_rollouts = sim_agents_submission_pb2.ScenarioRollouts(
joint_scenes=joint_scenes,
scenario_id=scenario.scenario_id # 必须设置
)
5. 元数据字段缺失错误
错误现象：提交信息不完整
// 错误示例：缺失必需字段
message SimAgentsChallengeSubmission {
repeated ScenarioRollouts scenario_rollouts = 1;
// 缺失 submission_type、account_name、unique_method_name等必需字段
}
// 正确示例：完整的提交信息
message SimAgentsChallengeSubmission {
repeated ScenarioRollouts scenario_rollouts = 1;
optional SubmissionType submission_type = 2; // 必须设置为SIM_AGENTS_SUBMISSION
optional string account_name = 3; // 注册邮箱
optional string unique_method_name = 4; // 方法名称
repeated string authors = 5; // 作者列表
optional string affiliation = 6; // 所属机构
optional string description = 7; // 方法描述
optional bool uses_lidar_data = 9; // 是否使用激光雷达数据
optional bool uses_camera_data = 10; // 是否使用摄像头数据
optional bool uses_public_model_pretraining = 11; // 是否使用公开模型预训练
optional string num_model_parameters = 12; // 模型参数量
}
验证工具使用方法
使用官方验证函数
Waymo提供了完整的验证工具来检查提交的正确性：
from waymo_open_dataset.utils.sim_agents import submission_specs
from waymo_open_dataset.protos import sim_agents_submission_pb2
# 验证单个JointScene
def validate_joint_scene(joint_scene, scenario):
try:
submission_specs.validate_joint_scene(
joint_scene, scenario, submission_specs.ChallengeType.SIM_AGENTS
)
print("✅ JointScene验证通过")
return True
except ValueError as e:
print(f"❌ JointScene验证失败: {e}")
return False
# 验证ScenarioRollouts
def validate_scenario_rollouts(scenario_rollouts, scenario):
try:
submission_specs.validate_scenario_rollouts(
scenario_rollouts, scenario, submission_specs.ChallengeType.SIM_AGENTS
)
print("✅ ScenarioRollouts验证通过")
return True
except ValueError as e:
print(f"❌ ScenarioRollouts验证失败: {e}")
return False
验证流程示意图
常见错误分类与解决方案
错误类型统计表
| 错误类型 | 发生频率 | 严重程度 | 解决方案 |
|---|---|---|---|
| 轨迹长度错误 | 高 | 严重 | 确保所有轨迹为80步 |
| 对象缺失错误 | 中 | 严重 | 使用get_sim_agent_ids()获取完整列表 |
| 并行数量错误 | 低 | 严重 | 严格使用32个并行仿真 |
| 场景ID缺失 | 中 | 严重 | 设置scenario.scenario_id |
| 元数据不完整 | 高 | 中等 | 填写所有必需字段 |
调试建议
- 逐步验证：先验证单个JointScene，再验证整个ScenarioRollouts
- 使用测试数据：利用官方提供的测试数据进行验证
- 日志记录：详细记录验证过程中的错误信息
- 自动化测试：编写自动化测试脚本确保提交格式正确
# 自动化测试示例
def test_submission_integrity():
"""全面测试提交完整性"""
scenario = load_test_scenario()
submission = create_submission(scenario)
# 测试各个组件
assert validate_joint_scene(submission.joint_scenes[0], scenario)
assert validate_scenario_rollouts(submission.scenario_rollouts[0], scenario)
# 测试元数据
assert submission.submission_type == SIM_AGENTS_SUBMISSION
assert submission.account_name is not None
assert submission.unique_method_name is not None
print("所有测试通过！")
最佳实践
1. 使用官方工具函数
# 推荐做法：使用官方函数获取需要仿真的对象
sim_agent_ids = submission_specs.get_sim_agent_ids(
scenario, submission_specs.ChallengeType.SIM_AGENTS
)
# 推荐做法：使用官方配置
config = submission_specs.get_submission_config(
submission_specs.ChallengeType.SIM_AGENTS
)
2. 实现完整的验证流程
def create_and_validate_submission(scenario, simulations):
"""创建并验证提交"""
# 创建JointScenes
joint_scenes = []
for i in range(32): # 32个并行仿真
joint_scene = create_joint_scene(scenario, simulations[i])
validate_joint_scene(joint_scene, scenario)
joint_scenes.append(joint_scene)
# 创建ScenarioRollouts
scenario_rollouts = sim_agents_submission_pb2.ScenarioRollouts(
joint_scenes=joint_scenes,
scenario_id=scenario.scenario_id
)
validate_scenario_rollouts(scenario_rollouts, scenario)
return scenario_rollouts
3. 错误处理与日志记录
import logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
def safe_validate(joint_scene, scenario):
"""安全的验证函数，包含错误处理"""
try:
submission_specs.validate_joint_scene(
joint_scene, scenario, submission_specs.ChallengeType.SIM_AGENTS
)
return True
except ValueError as e:
logger.error(f"验证失败: {e}")
# 记录详细错误信息
logger.debug(f"失败对象: {joint_scene}")
return False
总结
Sim Agents挑战赛的提交过程需要严格遵守格式要求，任何细微的错误都可能导致提交被拒绝。通过本文的详细解析，开发者可以：
- 理解常见错误类型：轨迹长度、对象缺失、并行数量等
- 掌握验证方法：使用官方验证工具进行逐步检查
- 实施最佳实践：使用官方函数、实现完整验证流程、做好错误处理
遵循这些指导原则，将大大提高提交成功率，确保研究成果得到准确评估。记住，仔细的验证和测试是成功提交的关键！
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
