Llama-api-server安装与配置指南

Llama-api-server安装与配置指南

1. 项目基础介绍

Llama-api-server 是一个开源项目，旨在构建一个与 OpenAI API 兼容的 REST-ful API 服务器，使用开源后端如 llama/llama2。通过该项目，许多通用的 GPT 工具/框架可以与您自己的模型兼容。该项目适用于希望在自己的环境中部署类似于 OpenAI 功能的开发者。

主要编程语言：Python

2. 关键技术和框架

• Python：项目的主要编程语言。
• Llama/llama2：开源的语言模型框架。
• REST API：使用 RESTful 架构风格来创建 API。
• Quantization：模型量化技术，用于减少模型大小并加快推理速度。

3. 安装和配置准备工作

在开始安装之前，请确保您的系统中已安装以下软件：

• Python 3.8 或更高版本
• pip（Python 包管理器）
• git（用于克隆项目仓库）

详细安装步骤

步骤 1：克隆项目仓库

打开终端或命令提示符，执行以下命令克隆项目：

git clone https://github.com/iaalm/llama-api-server.git
cd llama-api-server

步骤 2：安装依赖

使用 pip 安装项目依赖：

pip install -r requirements.txt

如果您要使用 pyllama 后端，请安装相应的依赖：

pip install llama-api-server[pyllama]

步骤 3：配置模型

您需要根据您的模型配置 config.yml 文件。以下是一个配置示例：

models:
  completions:
    # completions 和 chat_completions 使用相同模型
    text-ada-002:
      type: llama_cpp
      params:
        path: /绝对路径/to/您的/7B/ggml-model-q4_0.bin
    text-davinci-002:
      type: pyllama_quant
      params:
        path: /绝对路径/to/您的/pyllama-7B4b.pt
  embeddings:
    text-embedding-davinci-002:
      type: pyllama_quant
      params:
        path: /绝对路径/to/您的/pyllama-7B4b.pt
        min_instance: 1
        max_instance: 1
        idle_timeout: 3600
    text-embedding-ada-002:
      type: llama_cpp
      params:
        path: /绝对路径/to/您的/7B/ggml-model-q4_0.bin

确保替换 /绝对路径/to/您的/模型路径 为实际的模型文件路径。

步骤 4：设置安全令牌

创建一个 tokens.txt 文件并设置一个安全令牌：

echo "SOME_TOKEN" > tokens.txt

替换 SOME_TOKEN 为您的安全令牌。

步骤 5：启动 Web 服务器

运行以下命令以启动服务器：

python -m llama_api_server

如果要使服务器在网络中可见，请使用：

python -m llama_api_server --host=0.0.0.0

步骤 6：验证安装

您可以使用 curl 或 openai-python 库来测试 API。

使用 curl 测试嵌入：

curl -X POST http://127.0.0.1:5000/v1/embeddings -H 'Content-Type: application/json' -d '{"model":"text-embedding-ada-002", "input":"It is good."}' -H "Authorization: Bearer SOME_TOKEN"

确保替换 SOME_TOKEN 为您之前设置的安全令牌。

恭喜您，您已成功安装并配置了 Llama-api-server！