deepspeed window wheel 下载与安装

DeepSpeed 是由微软开发的一个开源深度学习优化库，旨在提升大规模模型训练的效率和可扩展性。它通过创新的并行化策略、内存优化技术（如 ZeRO）以及混合精度训练，显著加速了训练过程并降低了资源需求。

DeepSpeed 支持多种并行化方法，包括数据并行、模型并行和流水线并行，能够灵活适配不同规模和复杂度的模型。它与 PyTorch 等主流框架无缝集成，提供了易用的 API 和丰富的文档支持，使开发者能够快速将其应用到现有项目中。

核心技术

DeepSpeed 的核心技术包括以下几个方面：

• 并行化策略：支持数据并行、模型并行和流水线并行，能够显著提升训练速度和扩展性。

• 内存优化技术（ZeRO）：通过分片存储优化器状态、梯度和参数，减少冗余内存占用，使得在有限资源下也能训练超大规模模型。

• 混合精度训练：结合单精度（FP32）和半精度（FP16）浮点数，减少内存占用和计算时间，同时保持模型性能。

优势与应用

DeepSpeed 的主要优势在于：

• 高效性：通过优化并行化和内存管理，大幅提升训练效率。

• 低内存占用：ZeRO 技术使得训练更大规模模型成为可能。

• 易用性：与 PyTorch 深度集成，提供简单的配置和易用的接口。

• 开源社区支持：活跃的社区和持续更新，确保用户能够使用最新的优化技术。

DeepSpeed 已广泛应用于自然语言处理、计算机视觉等领域，尤其适用于需要训练超大规模模型的场景，如 GPT 系列模型的训练。

示例代码

以下是一个使用 DeepSpeed 加速 PyTorch 模型训练的简化示例：

import torch
import deepspeed
# 配置 DeepSpeed 参数
params = {
   "train_batch_size": 32,
   "gradient_accumulation_steps": 1,
   "optimizer": {
       "type": "Adam",
       "params": {
           "lr": 0.001,
           "betas": [0.9, 0.999],
           "eps": 1e-8,
           "weight_decay": 0
       }
   },
   "fp16": {
       "enabled": True
   },
   "zero_optimization": {
       "stage": 2
   }
}
# 初始化 DeepSpeed
model_engine, optimizer, _, _ = deepspeed.initialize(
   args=params,
   model=model,
   model_parameters=model.parameters()
)
# 训练循环
for epoch in range(num_epochs):
   for batch in dataloader:
       inputs, targets = batch
       outputs = model(inputs)
       loss = criterion(outputs, targets)
       model_engine.backward(loss)
       model_engine.step()

下面是我整理的window wheel下载地址

📁 Deepspeed 资源索引

序号	deepspeed	PyTorch	CUDA	Python	文件名	网盘链接
1	0.11.2	Any	11.8	3.10	deepspeed-0.11.2+cuda118-cp310-cp310-win_amd64.whl	https://pan.quark.cn/s/600cfd671992
2	0.11.2	Any	11.8	3.11	deepspeed-0.11.2+cuda118-cp311-cp311-win_amd64.whl	https://pan.quark.cn/s/d4ec31830131
3	0.11.2	Any	12.1	3.10	deepspeed-0.11.2+cuda121-cp310-cp310-win_amd64.whl	https://pan.quark.cn/s/abe0281f6d6e
4	0.11.2	Any	12.1	3.11	deepspeed-0.11.2+cuda121-cp311-cp311-win_amd64.whl	https://pan.quark.cn/s/c5aac67bb0b7
5	0.12.6	Any	11.8	3.10	deepspeed-0.12.6+cu118-cp310-cp310-win_amd64.whl	https://pan.quark.cn/s/4e11de7e9200
6	0.12.6	Any	11.8	3.11	deepspeed-0.12.6+cu118-cp311-cp311-win_amd64.whl	https://pan.quark.cn/s/01ef838e3df4
7	0.12.6	Any	12.1	3.10	deepspeed-0.12.6+cu121-cp310-cp310-win_amd64.whl	https://pan.quark.cn/s/1e2d8aeabb9e
8	0.12.6	Any	12.1	3.11	deepspeed-0.12.6+cu121-cp311-cp311-win_amd64(1).whl	https://pan.quark.cn/s/72edb80d144c
9	0.12.6	Any	12.1	3.11	deepspeed-0.12.6+cu121-cp311-cp311-win_amd64.whl	https://pan.quark.cn/s/ebf65d4385b1
10	0.13.1	Any	11.8	3.10	deepspeed-0.13.1+cu118-cp310-cp310-win_amd64.whl	https://pan.quark.cn/s/b3c62ed78114
11	0.13.1	Any	11.8	3.11	deepspeed-0.13.1+cu118-cp311-cp311-win_amd64.whl	https://pan.quark.cn/s/129ec56c8c87
12	0.13.1	Any	12.1	3.10	deepspeed-0.13.1+cu121-cp310-cp310-win_amd64.whl	https://pan.quark.cn/s/27f32bef6066
13	0.13.1	Any	12.1	3.11	deepspeed-0.13.1+cu121-cp311-cp311-win_amd64.whl	https://pan.quark.cn/s/8c5cc3bc8a4c
14	0.17.5	2.7	12.8	3.9	deepspeed-0.17.5+e1560d84-2.7torch+cu128-cp39-cp39-win_amd64.whl	https://pan.quark.cn/s/fb1acee13957
15	0.17.5	2.7	12.8	3.10	deepspeed-0.17.5+e1560d84-2.7torch+cu128-cp310-cp310-win_amd64.whl	https://pan.quark.cn/s/6942f57743e3
16	0.17.5	2.7	12.8	3.11	deepspeed-0.17.5+e1560d84-2.7torch+cu128-cp311-cp311-win_amd64.whl	https://pan.quark.cn/s/c06c1ee81370
17	0.17.5	2.7	12.8	3.12	deepspeed-0.17.5+e1560d84-2.7torch+cu128-cp312-cp312-win_amd64.whl	https://pan.quark.cn/s/b6875662c160
18	0.17.5	2.8	12.8	3.9	deepspeed-0.17.5+e1560d84-2.8torch+cu128-cp39-cp39-win_amd64.whl	https://pan.quark.cn/s/1c25705a795e
19	0.17.5	2.8	12.8	3.10	deepspeed-0.17.5+e1560d84-2.8torch+cu128-cp310-cp310-win_amd64.whl	https://pan.quark.cn/s/0d983fedc034
20	0.17.5	2.8	12.8	3.11	deepspeed-0.17.5+e1560d84-2.8torch+cu128-cp311-cp311-win_amd64.whl	https://pan.quark.cn/s/54bf7789e907
21	0.17.5	2.8	12.8	3.12	deepspeed-0.17.5+e1560d84-2.8torch+cu128-cp312-cp312-win_amd64.whl	https://pan.quark.cn/s/80b7b0d93bad
22	0.18.6	Unknown	Unknown	3.13	deepspeed-0.18.6+0ccb2bb6-cp313-cp313-win_amd64.whl	https://pan.quark.cn/s/543f76d1e0f7