分布式大型模型推理框架 Cake 使用指南

分布式大型模型推理框架 Cake 使用指南

cake Distributed LLM and StableDiffusion inference for mobile, desktop and server. cake 项目地址: https://gitcode.com/gh_mirrors/cake3/cake

1. 项目介绍

Cake 是一个基于 Rust 的框架,用于分布式推理大规模模型,如 LLama3 和 Stable Diffusion。该项目旨在通过将消费硬件(如 iOS、Android、macOS、Linux 和 Windows 设备)转变为一个异构集群,来实现对大型(70B+)模型的运行。通过有效利用计划淘汰的硬件,该项目旨在使 AI 更易于获取和普及。

2. 项目快速启动

环境准备

确保你的系统中已经安装了 Rust。

编译核心库和 CLI 工具

  • 不使用加速(将使用 CPU):

    cargo build --release
    
  • 使用 Metal 加速(针对 Apple Silicon):

    cargo build --release --features metal
    
  • 使用 CUDA 加速:

    cargo build --release --features cuda
    

运行工作节点

运行以下命令来启动一个工作节点:

cake-cli --model /path/to/Meta-Llama-3-8B --mode worker --name worker0 --topology topology.yml --address 0.0.0.0:10128

运行主节点

运行以下命令来启动一个带有 OpenAI 兼容 REST API 的主节点:

cake-cli --model /path/to/Meta-Llama-3-8B --api 0.0.0.0:8080 --topology topology.yml

如果需要加载整个模型到单个实例中,可以省略拓扑文件:

cake-cli --model /path/to/Meta-Llama-3-8B --api 0.0.0.0:8080

3. 应用案例和最佳实践

定义模型部分

topology.yml 文件中定义模型部分,例如:

wsl2_on_windows:
  host: '192.168.1.2:10128'
  description: 'NVIDIA RTX 4090 24GB'
  layers:
    - 'unet'

macbook:
  host: '192.168.1.3:10128'
  description: 'Macbook M2'
  layers:
    - 'clip'
    - 'vae'

运行图像生成工作节点

cake-cli --model /path/to/hf/cache --mode worker --name wsl2_on_windows --model-type image-model --topology topology.yml --address 0.0.0.0:10128

使用 REST API 生成图像

curl http://master-ip:8080/api/v1/image -H "Content-Type: application/json" -d '{"image_args": {"sd-image-prompt": "An old man sitting on the chair at seaside", "sd-num-samples": 1, "sd-image-seed": 2439383}}'

4. 典型生态项目

目前,Cake 项目在 GitHub 上拥有超过 2.8k 的 Star,以及 162 个 Fork。它为分布式推理提供了可能,特别是在利用旧硬件进行 AI 推理方面有显著的优势。典型的生态项目包括但不限于在各类设备上部署推理任务,例如在移动设备、个人电脑以及服务器上分布模型负载,以实现高效的推理性能。

cake Distributed LLM and StableDiffusion inference for mobile, desktop and server. cake 项目地址: https://gitcode.com/gh_mirrors/cake3/cake

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

伍盛普Silas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值