分布式Llama安装与配置指南

分布式Llama安装与配置指南

distributed-llama Tensor parallelism is all you need. Run LLMs on an AI cluster at home using any device. Distribute the workload, divide RAM usage, and increase inference speed. 项目地址: https://gitcode.com/gh_mirrors/di/distributed-llama

1. 项目基础介绍

分布式Llama是一个开源项目，旨在通过将家庭设备连接成一个强大的集群，以加速大型语言模型（LLM）的推理过程。该项目利用张量并行性和高速以太网同步，实现了多设备间的协同工作，从而提高性能。支持Linux、macOS和Windows操作系统，并针对ARM和x86_64 AVX2 CPU进行了优化。

主要编程语言：C++（核心代码），Python（启动脚本和接口）。

2. 项目使用的关键技术和框架

• 张量并行计算：通过分割神经网络模型，在不同的节点上并行处理，实现加速推理。
• 高速同步机制：使用以太网进行节点间的状态同步。
• 模型量化：支持q40和f32两种量化等级，以减少模型大小和计算需求。

3. 项目安装和配置的准备工作

准备工作

• 确保操作系统为Linux、macOS或Windows。
• 安装Git以便克隆代码仓库。
• 安装GCC（Linux和macOS）或MinGW（Windows）以编译项目代码。
• 确保系统中已安装Python 3和相应的C++编译器。

安装步骤

步骤1：克隆代码仓库

打开终端或命令提示符，运行以下命令克隆项目仓库：

git clone https://github.com/b4rtaz/distributed-llama.git

步骤2：编译项目

进入克隆后的项目目录，编译项目：

对于Linux或macOS：

cd distributed-llama
make dllama
make dllama-api

对于Windows：

cd distributed-llama
mingw32-make dllama
mingw32-make dllama-api

步骤3：配置网络

确保所有设备都在同一网络下，且能够相互通信。

步骤4：运行节点

在工人节点上运行以下命令：

./dllama worker --port 9999 --nthreads 4

在根节点上运行以下命令，并替换dllama_model_meta-llama-3-8b_q40.m和dllama_tokenizer_llama3.t为实际模型和分词器路径：

./dllama inference --model dllama_model_meta-llama-3-8b_q40.m --tokenizer dllama_tokenizer_llama3.t --buffer-float-type q80 --prompt "Hello world" --steps 16 --nthreads 4 --workers 192.168.0.1:9999

如果要添加更多工人节点，只需在--workers参数后添加更多地址即可。

以上就是分布式Llama项目的详细安装和配置指南。按照以上步骤操作，您应该能够成功搭建一个分布式推理集群。

distributed-llama Tensor parallelism is all you need. Run LLMs on an AI cluster at home using any device. Distribute the workload, divide RAM usage, and increase inference speed. 项目地址: https://gitcode.com/gh_mirrors/di/distributed-llama