RAG:本地部署Langchain-Ollma(Windows)

RAG:本地部署Langchain🦜🔗-Ollma🐫(Windows)

RAG,即“Retrieval Augmented Generation”(检索增强生成),是一种结合了检索和生成技术的自然语言处理模型。它主要用于文本生成任务,能够利用外部知识源来增强生成的文本,从而提高生成质量。相较于微调技术,RAG能够更加短平快的吸纳本地知识并整合大模型进行问答。因此本地部署了一个基于Langchain🦜🔗 + Ollma🐫的RAG应用,以检索本地知识库生成回答。

1. 创建conda虚拟环境

首先,在Anaconda Prompt中创建名为 LLMs 的conda环境,并指定Python版本为3.10。其次,激活该名为 LLMs 的conda环境。

# 创建新环境
conda create --name LLMs python=3.10
# 激活该环境
conda activate LLMs

2. 安装Langchain🦜🔗

2.1 Langchain简介

🦜🔗Langchain 是一个用于开发由大语言模型(LLMs)提供支持的应用程序框架。Langchain简化了 LLMs应用生命周期的每个阶段,其主要特点包括:

  • 开发:使用 LangChain 的开源构建块和组件构建应用程序,利用第三方集成和模板快速启动。
  • 生产:使用 LangSmith 检查、监控和评估,保障持续优化和稳定部署。
  • 部署:使用 LangServe 将任何链(chian)转换为 API。

2.2 安装🦜🔗Langchain相关的🐍Python库

在上述已经创建的LLMs的新环境中继续安装所需要的Langchain相关的🐍Python库:

  • langchain
  • langchain_text_splitters
  • langchain-chroma
  • langchain-huggingface

选择conda或pip安装:

conda install langchain -c conda-forge
conda install langchain_text_splitters
conda install langchain-chroma -c conda-forge
conda install langchain-huggingface -c conda-forge
pip install -U langchain-community

2.3 安装Ollama

由于知识库问答的底座大模型选择了Ollama所整合的模型,因

### 关于 Ollama、LangChainRAGFlow 的使用教程与解决方案 #### 一、Ollama 使用简介 Ollama 是一种基于 Go 语言开发的大语言模型框架,其设计目标是简化大语言模型的构建和运行过程。通过提供简洁的 API 接口以及丰富的预构建模型库,开发者能够快速集成并部署多种开源模型[^1]。 以下是 Ollama 的基本安装与配置流程: ```bash # 安装 Ollama CLI 工具 brew install ollama # 下载所需的语言模型 ollama pull llama2 # 启动服务端接口 ollama serve ``` #### 二、LangChain 基础介绍 LangChain 是一个专注于连接大型语言模型和其他工具的 Python 库,允许用户定义复杂的工作流来处理自然语言输入。它提供了多个模块支持数据提取、向量存储、对话记忆等功能[^3]。 下面展示如何初始化 LangChain 并加载文档到内存中: ```python from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import FAISS embeddings = HuggingFaceEmbeddings() db = FAISS.from_texts(["hello world"], embeddings) query_result = db.similarity_search("world", k=1) print(query_result) ``` #### 三、RAGFlow 结构解析 RAG(Retrieval-Augmented Generation)是一种结合检索技术和生成式 AI 的方法论,而 RAGFlow 则实现了这一理念的具体工作流管理系统。借助 Docker 环境下的组件协作,比如 MinIO 存储桶作为文件仓库或者 Redis 缓存数据库加速查询响应时间,使得整个架构更加高效稳定[^2]。 启动完整的 RAGFlow 集群可以通过以下命令完成: ```yaml version: '3' services: ragflow: image: deepseeklabs/ragflow:vlatest ports: - "8000:80" minio: image: minio/minio:RELEASE.2023-09-17T00-25-46Z command: server /data environment: MINIO_ROOT_USER: admin MINIO_ROOT_PASSWORD: password123 volumes: - ./miniodata:/data ``` --- #### 综合案例分析:搭建私有知识问答系统 为了更好地理解以上三种技术的实际应用场景,这里给出一个具体实例——利用 DeepSeek 开源模型配合 Ollama 提供推理能力,在此基础上加入 LangChain 负责结构化信息抽取,并最终由 RAGFlow 整理成可用的知识图谱形式呈现给终端使用者[^2]。 主要步骤如下所示: 1. **准备训练好的嵌入函数** 运用 Hugging Face Transformers 创建自定义 embedding 层次。 2. **导入外部资料集至矢量空间索引表单内** 将企业内部手册或其他非公开资源转换为适合机器阅读的形式后上传云端服务器保存起来待后续调取使用。 3. **设置前端交互界面接收提问请求并通过 RESTful API 发送至后台逻辑层执行匹配计算操作返回最佳答案选项列表显示出来结束本次会话循环往复直至满足客户需求为止** ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值