RAG:本地部署Langchain-Ollma(Windows)

RAG:本地部署Langchain🦜🔗-Ollma🐫(Windows)

RAG,即“Retrieval Augmented Generation”(检索增强生成),是一种结合了检索和生成技术的自然语言处理模型。它主要用于文本生成任务,能够利用外部知识源来增强生成的文本,从而提高生成质量。相较于微调技术,RAG能够更加短平快的吸纳本地知识并整合大模型进行问答。因此本地部署了一个基于Langchain🦜🔗 + Ollma🐫的RAG应用,以检索本地知识库生成回答。

1. 创建conda虚拟环境

首先,在Anaconda Prompt中创建名为 LLMs 的conda环境,并指定Python版本为3.10。其次,激活该名为 LLMs 的conda环境。

# 创建新环境
conda create --name LLMs python=3.10
# 激活该环境
conda activate LLMs

2. 安装Langchain🦜🔗

2.1 Langchain简介

🦜🔗Langchain 是一个用于开发由大语言模型(LLMs)提供支持的应用程序框架。Langchain简化了 LLMs应用生命周期的每个阶段,其主要特点包括:

  • 开发:使用 LangChain 的开源构建块和组件构建应用程序,利用第三方集成和模板快速启动。
  • 生产:使用 LangSmith 检查、监控和评估,保障持续优化和稳定部署。
  • 部署:使用 LangServe 将任何链(chian)转换为 API。

2.2 安装🦜🔗Langchain相关的🐍Python库

在上述已经创建的LLMs的新环境中继续安装所需要的Langchain相关的🐍Python库:

  • langchain
  • langchain_text_splitters
  • langchain-chroma
  • langchain-huggingface

选择conda或pip安装:

conda install langchain -c conda-forge
conda install langchain_text_splitters
conda install langchain-chroma -c conda-forge
conda install langchain-huggingface -c conda-forge
pip install -U langchain-community

2.3 安装Ollama

由于知识库问答的底座大模型选择了Ollama所整合的模型,因

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值