Nanoflow开源项目安装与配置指南

Nanoflow开源项目安装与配置指南

Nanoflow A throughput-oriented high-performance serving framework for LLMs 项目地址: https://gitcode.com/gh_mirrors/na/Nanoflow

一、项目基础介绍

Nanoflow 是一个针对大型语言模型（LLM）的高性能服务框架，旨在提供优异的吞吐量。该框架通过利用设备内并行性来最大化硬件资源利用率，适用于大规模的服务系统。项目主要使用 C++ 作为后端编程语言，以及 Python 作为前端演示的编程语言。

二、项目使用的关键技术和框架

• 设备内并行性（Intra-device parallelism）：通过操作级别的细粒度批处理（nano-batching）和执行单元调度，实现了计算、内存和网络资源的同时利用。
• 异步CPU调度：采用异步控制流进行 GPU 执行、CPU 批次形成和 KV 缓存管理，提高了 CPU 调度的效率。
• 现代内核库集成：集成了 CUTLASS（用于 GEMM）、FlashInfer（用于 Attention）和 MSCCL++（用于网络）等先进的内核库。

三、项目安装和配置准备工作

在开始安装之前，请确保您的系统满足以下要求：

1. 操作系统：Linux
2. GPU：NVIDIA GPU（支持 CUDA）
3. Docker：用于容器化环境
4. Python：版本 3.8 或以上
5. CUDA：版本 11.0 或以上

安装步骤

1. 克隆项目仓库 在终端中执行以下命令，将 Nanoflow 项目克隆到本地：

   git clone https://github.com/efeslab/Nanoflow.git
   

2. 设置Docker环境 创建一个文件夹用于存放项目代码，并运行 Docker 容器：

   mkdir -p ~/framework-test
   docker run --gpus all --net=host --privileged -v /dev/shm:/dev/shm --name nanoflow -v ~/framework-test:/code -it nvcr.io/nvidia/nvhpc:23.11-devel-cuda_multi-ubuntu22.04
   

3. 安装依赖 进入 Nanoflow 项目文件夹，执行以下命令安装依赖：

   cd Nanoflow
   chmod +x ./installAnaconda.sh
   ./installAnaconda.sh
   

   安装完成后，重启终端。

4. 设置环境 继续在终端中执行以下命令设置环境：

   yes | ./setup.sh
   

5. 服务不同模型 使用以下命令来服务不同的模型：

   ./serve.sh
   

6. 性能评估 若需要评估性能，执行以下命令：

   ./perf.sh
   

安装和配置完成！现在您可以根据项目需求和文档来进一步使用和定制 Nanoflow。

Nanoflow A throughput-oriented high-performance serving framework for LLMs 项目地址: https://gitcode.com/gh_mirrors/na/Nanoflow