语言模型推理的Rust实现——lm.rs安装与配置指南

语言模型推理的Rust实现——lm.rs安装与配置指南

lm.rs Minimal LLM inference in Rust 项目地址: https://gitcode.com/gh_mirrors/lm/lm.rs

一、项目基础介绍

lm.rs 是一个使用Rust编程语言编写的开源项目，它旨在实现在CPU上运行语言模型的推理过程，而不依赖于机器学习库。该项目受到了Karpathy的 llama2.c 和 llm.c 的启发，旨在创建一个能够执行完整推理的最小代码。

二、项目使用的关键技术和框架

• Rust：主要编程语言，因其高性能和内存安全性而被选用。
• 无ML库推理：项目不依赖任何机器学习库来执行模型的推理。
• 量化技术：通过量化技术减小模型大小，提高推理速度。
• 多模态支持：支持文本和图像输入的多模态推理。

三、项目安装和配置的准备工作与详细步骤

准备工作

在开始安装之前，请确保您的系统中已经安装以下环境和依赖：

• Rust编译器：您可以从 官方网站 下载并安装Rust。
• Python：用于模型转换脚本的运行。
• PyTorch：如果需要自己转换模型，需要安装PyTorch。

安装步骤

1. 克隆项目仓库

   打开终端（命令行），使用以下命令克隆项目仓库：

   git clone https://github.com/samuel-vitorino/lm.rs.git
   cd lm.rs
   

2. 安装Python依赖

   在项目目录中，安装所需的Python依赖项：

   pip install -r requirements.txt
   

3. 模型转换

   如果您需要将Hugging Face上的模型转换为 lm.rs 支持的格式，您需要下载模型的 .safetensors 和 config.json 文件，并运行 export.py 脚本：

   python export.py --files [ordered .safetensor files] --config [model config.json] --save-path [name and path to save] --type [model type (GEMMA/LLAMA/PHI)]
   

   对于量化版本，使用 --quantize 和 --quantize-type 参数。

4. 编译Rust代码

   编译项目中的Rust代码。如果您想启用多模态特性，请包括 --features multimodal 参数：

   RUSTFLAGS='-C target-cpu=native' cargo build --release --bin chat --features multimodal
   

5. 运行项目

   编译完成后，使用以下命令运行项目：

   ./target/release/chat --model [model weights file]
   

   其中 [model weights file] 是转换后模型的权重文件路径。

6. WebUI后端

   如果您想要使用Web界面，首先编译后端程序：

   RUSTFLAGS='-C target-cpu=native' cargo build --release --features backend --bin backend
   

   然后运行后端程序，指定模型和IP端口等参数：

   ./target/release/backend --model [model weights file] --ip [ip address] --port [port number]
   

以上就是 lm.rs 项目的详细安装和配置指南，按照上述步骤操作，您应该能够成功安装并运行项目。

lm.rs Minimal LLM inference in Rust 项目地址: https://gitcode.com/gh_mirrors/lm/lm.rs