OnPrem.LLM 开源项目使用教程

OnPrem.LLM 开源项目使用教程

onprem A tool for running on-premises large language models with non-public data 项目地址: https://gitcode.com/gh_mirrors/on/onprem

1. 项目介绍

OnPrem.LLM 是一个开源文档智能工具包，旨在帮助用户在自己的机器上（可能位于企业防火墙后面）应用大型语言模型（LLM）处理非公开数据。这个项目受到 privateGPT 的启发，目的是帮助将本地 LLM 集成到实际应用中。

2. 项目快速启动

安装

首先，确保已经安装了 PyTorch。然后按照以下步骤安装 OnPrem.LLM：

# CPU 版本
pip install llama-cpp-python
pip install onprem

# GPU 版本 (Linux)
CMAKE_ARGS="-DGGML_CUDA=on" FORCE_CMAKE=1 pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir

# GPU 版本 (Mac)
CMAKE_ARGS="-DGGML_METAL=on" pip install llama-cpp-python

# GPU 版本 (Windows 11)
# 请参考相应的指南文档

# GPU 版本 (Windows Subsystem for Linux - WSL2)
# 请参考相应的指南文档

安装完成后，可以开始设置并使用 LLM。

使用

from onprem import LLM

# 默认使用 7B 参数的 Zephyr-7B-beta 模型
llm = LLM(verbose=False)

# 如果需要使用 Llama-3.1-8B-Instsruct 模型
# llm = LLM(default_model='llama')

# 如果需要使用 Hugging Face Transformers 作为 LLM 引擎
# llm = LLM(default_model='llama', default_engine='transformers')

3. 应用案例和最佳实践

以下是一些使用 OnPrem.LLM 的案例和最佳实践：

• 信息提取：从原始文档中提取结构化信息。
• 文本分类：基于少量标注样本进行文本分类。
• 交互式聊天：使用 Web UI 实现与用户的交互式对话。
• 文档问答：使用文档问答功能，如 RAG（检索增强生成）。
• 文档搜索：实现基于关键词和语义的搜索。

4. 典型生态项目

OnPrem.LLM 可以与以下生态项目结合使用，以增强其功能和适用性：

• Hugging Face Transformers：作为 LLM 的后端。
• vLLM、OpenLLM、Ollama：作为外部 REST API 服务的 LLM。

以上是 OnPrem.LLM 的基本使用教程，希望对您的项目开发有所帮助。

onprem A tool for running on-premises large language models with non-public data 项目地址: https://gitcode.com/gh_mirrors/on/onprem