动手指南：Dynamo 分布式推理服务框架

动手指南：Dynamo 分布式推理服务框架

dynamo A Datacenter Scale Distributed Inference Serving Framework 项目地址: https://gitcode.com/gh_mirrors/dynamo10/dynamo

1. 项目目录结构及介绍

Dynamo 是一个为数据中心规模设计的分布式推理服务框架。以下是项目的目录结构及各部分的功能介绍：

ai-dynamo/
├── .github/              # GitHub 工作流和相关配置
├── components/           # Dynamo 组件代码
├── container/            # 容器化部署相关文件
├── deploy/               # 部署脚本和配置文件
├── docs/                 # 文档资料
├── examples/             # 使用示例
├── launch/               # 启动脚本
├── lib/                  # 库文件
├── .clang-format          # Clang 格式化配置
├── .dockerignore         # Docker 忽略文件
├── .gitattributes         # Git 属性配置
├── .gitignore            # Git 忽略文件
├── .pre-commit-config.yaml # pre-commit 配置文件
├── ATTRIBUTIONS-Rust.md  # Rust 属性文件
├── ATTRIBUTIONS.md       # 属性文件
├── CODEOWNERS            # 代码所有者文件
├── CONTRIBUTING.md       # 贡献指南
├── Cargo.lock            # Rust 包依赖锁文件
├── Cargo.toml            # Rust 包配置文件
├── Earthfile             # Earthfile 配置文件
├── LICENSE               # 许可证文件
├── README.md             # 项目说明文件
├── SECURITY.md           # 安全策略文件
├── codespell.txt         # 代码拼写检查文件
├── deny.toml             # 禁止规则配置文件
├── dynamo.code-workspace # VSCode 工作区配置
├── pyproject.toml        # Python 项目配置文件
├── rust-toolchain.toml   # Rust 工具链配置文件
└── support_matrix.md     # 支持矩阵文件

2. 项目的启动文件介绍

项目的启动文件主要位于 launch/ 目录下，这些脚本用于启动 Dynamo 分布式推理服务。

• dynamo-launch.sh：Dynamo 启动脚本，用于启动服务。

3. 项目的配置文件介绍

项目的配置文件主要用于定义服务的运行参数和设置，以下是主要的配置文件：

• deploy/docker-compose.yml：Docker Compose 配置文件，用于定义服务的容器化部署。

• examples/llm/configs/agg.yaml：聚合器配置文件，用于定义服务的聚合器配置。

• examples/llm/configs/worker.yaml：工作节点配置文件，用于定义服务的工作节点配置。

请根据实际部署需求修改上述配置文件，以适应不同的运行环境。

dynamo A Datacenter Scale Distributed Inference Serving Framework 项目地址: https://gitcode.com/gh_mirrors/dynamo10/dynamo