OnPrem.LLM 开源项目使用教程
1. 项目介绍
OnPrem.LLM 是一个开源文档智能工具包,旨在帮助用户在自己的机器上(可能位于企业防火墙后面)应用大型语言模型(LLM)处理非公开数据。这个项目受到 privateGPT 的启发,目的是帮助将本地 LLM 集成到实际应用中。
2. 项目快速启动
安装
首先,确保已经安装了 PyTorch。然后按照以下步骤安装 OnPrem.LLM:
# CPU 版本
pip install llama-cpp-python
pip install onprem
# GPU 版本 (Linux)
CMAKE_ARGS="-DGGML_CUDA=on" FORCE_CMAKE=1 pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir
# GPU 版本 (Mac)
CMAKE_ARGS="-DGGML_METAL=on" pip install llama-cpp-python
# GPU 版本 (Windows 11)
# 请参考相应的指南文档
# GPU 版本 (Windows Subsystem for Linux - WSL2)
# 请参考相应的指南文档
安装完成后,可以开始设置并使用 LLM。
使用
from onprem import LLM
# 默认使用 7B 参数的 Zephyr-7B-beta 模型
llm = LLM(verbose=False)
# 如果需要使用 Llama-3.1-8B-Instsruct 模型
# llm = LLM(default_model='llama')
# 如果需要使用 Hugging Face Transformers 作为 LLM 引擎
# llm = LLM(default_model='llama', default_engine='transformers')
3. 应用案例和最佳实践
以下是一些使用 OnPrem.LLM 的案例和最佳实践:
- 信息提取:从原始文档中提取结构化信息。
- 文本分类:基于少量标注样本进行文本分类。
- 交互式聊天:使用 Web UI 实现与用户的交互式对话。
- 文档问答:使用文档问答功能,如 RAG(检索增强生成)。
- 文档搜索:实现基于关键词和语义的搜索。
4. 典型生态项目
OnPrem.LLM 可以与以下生态项目结合使用,以增强其功能和适用性:
- Hugging Face Transformers:作为 LLM 的后端。
- vLLM、OpenLLM、Ollama:作为外部 REST API 服务的 LLM。
以上是 OnPrem.LLM 的基本使用教程,希望对您的项目开发有所帮助。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考