开源项目安装与配置指南：Adept Inference

开源项目安装与配置指南：Adept Inference

adept-inference Inference code for Persimmon-8B 项目地址: https://gitcode.com/gh_mirrors/ad/adept-inference

1. 项目基础介绍

Adept Inference 是一个开源项目，它包含了 Persimmon-8B 模型的推理代码。Persimmon-8B 是一个大型语言模型，适用于多种自然语言处理任务。该项目主要用于研究和开发目的，允许用户在自己的环境中运行和测试模型。项目的主要编程语言是 Python，同时也使用了 C++ 和 Cuda。

2. 项目使用的关键技术和框架

• Python：作为主要编程语言，用于构建模型推理服务器的核心逻辑。
• C++：可能在某些性能关键部分使用，例如模型的加载和计算。
• Cuda：用于加速模型在 GPU 上的计算。
• Docker：用于容器化应用，简化部署过程。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS
• Python：Python 3.6 或更高版本
• GPU：具有至少 40GB 显存的 GPU（建议使用 80GB 显存以获得最佳性能）
• Docker：已安装 Docker 环境并具有运行权限

详细安装步骤

1. 克隆项目仓库

   打开终端，运行以下命令克隆项目仓库：

   git clone https://github.com/persimmon-ai-labs/adept-inference.git
   cd adept-inference
   

2. 构建 Docker 镜像

   在项目根目录下，运行以下命令构建 Docker 镜像：

   docker build -f docker/Dockerfile -t 'adeptdocker' .
   

3. 设置环境变量

   在 run_text_generation_server.sh 脚本中，设置 MODEL_DIR 环境变量以指向模型文件夹的路径。默认情况下，它被设置为 8b_chat_model_release，如果你使用的是基础模型，则需要更改为 8b_base_model_release。

   # 默认为聊天模型
   MODEL_DIR=8b_chat_model_release
   # 如果使用基础模型，则更改为：
   # MODEL_DIR=8b_base_model_release
   

4. 运行 Docker 容器

   运行以下命令以启动包含所有必要依赖的 Docker 容器：

   sh docker_launch.sh
   

5. 测试模型服务器

   当 Docker 容器运行后，你可以使用 curl 命令测试模型服务器。以下是一个示例请求：

   curl '<address of server>/api' -X 'PUT' -H 'Content-Type: application/json; charset=UTF-8' -d '{"prompts": ["human: Hello, how are you?\n\nadept:"], "tokens_to_generate": 128, "top_p": 0.9, "random_seed": 1234, "logprobs": false}'
   

   请将 <address of server> 替换为 Docker 容器的 IP 地址和端口。

以上步骤将帮助你成功安装和配置 Adept Inference 项目。如果你在安装过程中遇到任何问题，请检查项目文档或搜索相关社区以获得帮助。

adept-inference Inference code for Persimmon-8B 项目地址: https://gitcode.com/gh_mirrors/ad/adept-inference