win11部署自己的privateGpt(2024-0304)

原创

已于 2024-04-05 22:01:07 修改 · 2.1k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#gpt

于 2024-03-04 14:33:24 首次发布

本文介绍了privateGPT，一个支持离线操作的私密人工智能项目，利用大型语言模型在无网络情况下提供上下文感知的服务。同时，文中概述了如何在虚拟环境中搭建C++编译环境和安装私有GPT，以及如何通过HuggingFace平台的NLP模型进行相关开发。

什么是privateGpt?

privategpt开源项目地址

https://github.com/imartinez/privateGPT/tree/main

官方文档

https://docs.privategpt.dev/overview/welcome/welcome

PrivateGPT是一个可投入生产的人工智能项目，利用大型语言模型（LLMs）的强大能力，即使在没有互联网连接的情况下，也能够提出关于您文档的问题。项目100%私密，任何时候都不会有数据离开您的执行环境。
该项目提供了一个API，提供构建私密、上下文感知的人工智能应用程序所需的所有基本功能。它遵循并扩展了OpenAI API标准，并支持正常和流式响应。
API分为两个逻辑块：
高级API，抽象了RAG（检索增强生成）管道实现的所有复杂性：
文档摄取：内部管理文档解析、拆分、元数据提取、嵌入生成和存储。
使用来自摄取文档的上下文进行聊天和完成：抽象了上下文的检索、提示工程和响应生成。
低级API，允许高级用户实现自己的复杂管道：
基于文本的嵌入生成。
给定查询，检索从摄取的文档中返回最相关的文本块。
除此之外，提供了一个可用于测试API的工作Gradio UI客户端，以及一组有用的工具，如批量模型下载脚本、摄取脚本、文档文件夹监视等。

开源平台语言模型网站

https://huggingface.co/welcome

Hugging Face是一个提供自然语言处理（NLP）模型和工具的开源平台。该平台致力于构建和分享先进的NLP模型，并提供易于使用的API和工具，使研究人员和开发者能够快速使用和部署这些模型。
Hugging Face的主要特点包括：
模型存储库： Hugging Face提供了一个庞大的模型存储库，其中包含各种NLP任务的预训练模型，如文本生成、文本分类、命名实体识别等。这些模