RAG:本地部署Langchain🦜🔗-Ollma🐫(Windows)
RAG,即“Retrieval Augmented Generation”(检索增强生成),是一种结合了检索和生成技术的自然语言处理模型。它主要用于文本生成任务,能够利用外部知识源来增强生成的文本,从而提高生成质量。相较于微调技术,RAG能够更加短平快的吸纳本地知识并整合大模型进行问答。因此本地部署了一个基于Langchain🦜🔗 + Ollma🐫的RAG应用,以检索本地知识库生成回答。
1. 创建conda虚拟环境
首先,在Anaconda Prompt中创建名为 LLMs 的conda环境,并指定Python版本为3.10。其次,激活该名为 LLMs 的conda环境。
# 创建新环境
conda create --name LLMs python=3.10
# 激活该环境
conda activate LLMs
2. 安装Langchain🦜🔗
2.1 Langchain简介
🦜🔗Langchain 是一个用于开发由大语言模型(LLMs)提供支持的应用程序框架。Langchain简化了 LLMs应用生命周期的每个阶段,其主要特点包括:
- 开发:使用 LangChain 的开源构建块和组件构建应用程序,利用第三方集成和模板快速启动。
- 生产:使用 LangSmith 检查、监控和评估,保障持续优化和稳定部署。
- 部署:使用 LangServe 将任何链(chian)转换为 API。
2.2 安装🦜🔗Langchain相关的🐍Python库
在上述已经创建的LLMs的新环境中继续安装所需要的Langchain相关的🐍Python库:
- langchain
- langchain_text_splitters
- langchain-chroma
- langchain-huggingface
选择conda或pip安装:
conda install langchain -c conda-forge
conda install langchain_text_splitters
conda install langchain-chroma -c conda-forge
conda install langchain-huggingface -c conda-forge
pip install -U langchain-community
2.3 安装Ollama
由于知识库问答的底座大模型选择了Ollama所整合的模型,因

最低0.47元/天 解锁文章
1057






