OnPrem.LLM 开源项目使用教程

OnPrem.LLM 开源项目使用教程

onprem A tool for running on-premises large language models with non-public data onprem 项目地址: https://gitcode.com/gh_mirrors/on/onprem

1. 项目介绍

OnPrem.LLM 是一个开源文档智能工具包,旨在帮助用户在自己的机器上(可能位于企业防火墙后面)应用大型语言模型(LLM)处理非公开数据。这个项目受到 privateGPT 的启发,目的是帮助将本地 LLM 集成到实际应用中。

2. 项目快速启动

安装

首先,确保已经安装了 PyTorch。然后按照以下步骤安装 OnPrem.LLM:

# CPU 版本
pip install llama-cpp-python
pip install onprem

# GPU 版本 (Linux)
CMAKE_ARGS="-DGGML_CUDA=on" FORCE_CMAKE=1 pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir

# GPU 版本 (Mac)
CMAKE_ARGS="-DGGML_METAL=on" pip install llama-cpp-python

# GPU 版本 (Windows 11)
# 请参考相应的指南文档

# GPU 版本 (Windows Subsystem for Linux - WSL2)
# 请参考相应的指南文档

安装完成后,可以开始设置并使用 LLM。

使用

from onprem import LLM

# 默认使用 7B 参数的 Zephyr-7B-beta 模型
llm = LLM(verbose=False)

# 如果需要使用 Llama-3.1-8B-Instsruct 模型
# llm = LLM(default_model='llama')

# 如果需要使用 Hugging Face Transformers 作为 LLM 引擎
# llm = LLM(default_model='llama', default_engine='transformers')

3. 应用案例和最佳实践

以下是一些使用 OnPrem.LLM 的案例和最佳实践:

  • 信息提取:从原始文档中提取结构化信息。
  • 文本分类:基于少量标注样本进行文本分类。
  • 交互式聊天:使用 Web UI 实现与用户的交互式对话。
  • 文档问答:使用文档问答功能,如 RAG(检索增强生成)。
  • 文档搜索:实现基于关键词和语义的搜索。

4. 典型生态项目

OnPrem.LLM 可以与以下生态项目结合使用,以增强其功能和适用性:

  • Hugging Face Transformers:作为 LLM 的后端。
  • vLLM、OpenLLM、Ollama:作为外部 REST API 服务的 LLM。

以上是 OnPrem.LLM 的基本使用教程,希望对您的项目开发有所帮助。

onprem A tool for running on-premises large language models with non-public data onprem 项目地址: https://gitcode.com/gh_mirrors/on/onprem

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

洪赫逊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值