deepspeed多机多卡，断点继续预训练

以下是对你提供的日志的详细解析，以及其对训练的影响：

日志解析

1. 恢复训练

   pgsql

   复制

   gpu009: [INFO|trainer.py:2109] 2024-07-20 22:38:47,510 >>   Continuing training from checkpoint, will skip to saved global_step
   gpu009: [INFO|trainer.py:2110] 2024-07-20 22:38:47,510 >>   Continuing training from epoch 0
   gpu009: [INFO|trainer.py:2111] 2024-07-20 22:38:47,510 >>   Continuing training from global step 2760
   gpu009: [INFO|trainer.py:2113] 2024-07-20 22:38:47,510 >>   Will skip the first 0 epochs then the first 2760 batches in the first epoch.
   

   • 含义：训练从上次保存的检查点恢复：
     • epoch 0：表示从第 0 轮开始。
     • global step 2760：表示从全局步骤 2760 开始。
     • 跳过的批次：在第 0 轮中跳过前 2760 个批次。

2. 参数不