Codabench平台中提交任务卡在"Preparing"状态的技术分析

Codabench平台中提交任务卡在"Preparing"状态的技术分析

问题现象

在Codabench平台上运行的两个竞赛实例中，用户提交的任务持续停留在"Preparing"状态无法继续执行。通过日志分析发现，工作节点在获取任务包(bundle)后出现了连接重置错误(ConnectionResetError 104)，具体表现为"Connection reset by peer"。

技术背景

Codabench是一个用于机器学习竞赛的开源平台，其架构包含：

1. 前端服务器：处理用户交互和任务调度
2. 工作队列：管理待处理任务
3. 工作节点(Worker)：实际执行计算任务的VM实例

当用户提交解决方案时，系统会经历以下流程： 提交 → 准备 → 排队 → 执行 → 完成

问题诊断

从技术角度分析，该问题具有以下特征：

1. 仅影响特定私有队列上的工作节点
2. 初始连接建立成功（状态能更新到"Preparing"）
3. 在数据传输阶段出现连接中断
4. 问题具有自恢复特性（旧任务失败后新任务恢复正常）

可能原因

1. 网络层问题：

   • 工作节点与主控服务器之间的网络连接不稳定
   • 防火墙或安全组策略导致长连接被中断
   • 网络设备（如负载均衡器）的会话超时设置过短

2. 资源限制：

   • 工作节点VM的资源不足（内存/CPU）导致连接处理异常
   • 存储I/O瓶颈导致数据传输超时

3. 平台逻辑问题：

   • 阶段切换时的状态同步异常
   • 任务队列的持久化机制存在缺陷

解决方案与验证

用户采取的临时解决方案：

1. 重启所有工作节点VM
2. 等待卡住的任务超时失败
3. 延长当前竞赛阶段

技术团队建议的完整解决方案路径：

1. 基础排查：

   • 检查工作节点与主控服务器之间的网络连通性
   • 验证防火墙规则和会话保持设置
   • 监控工作节点的资源使用情况

2. 深度诊断：

   • 启用详细日志记录（包括TCP层握手过程）
   • 使用网络抓包工具分析传输异常点
   • 检查任务队列的持久化日志

3. 预防措施：

   • 实现工作节点的健康检查机制
   • 增加传输层重试逻辑
   • 优化阶段切换时的状态同步流程

最佳实践建议

对于Codabench平台管理员：

1. 定期维护工作节点环境
2. 监控队列积压情况
3. 建立完善的日志收集系统

对于竞赛组织者：

1. 合理安排竞赛阶段时间
2. 提前测试提交流程
3. 准备备用工作节点

该案例表明，分布式计算平台中的任务执行问题往往需要从网络、资源和业务逻辑多个维度进行综合分析。通过系统化的排查方法，可以有效定位和解决这类间歇性故障。