基于langchain RAG问答应用实战-优快云博客

本文链接：https://blog.youkuaiyun.com/xianghanscce/article/details/143842617

一、前言

1. 介绍

本次选用百度百科------藜麦数据（https://baike.baidu.com/item/藜麦/5843874）模拟个人或企业私域数据，并基于langchain开发框架，实现一种简单的RAG问答应用示例。

2. 软件资源

CUDA 11.7
Python 3.10
pytorch 1.13.1+cu117
langchain

二、环境搭建

下载代码
构建环境

    $ conda create -n py310_chat python=3.10 # 创 建 新 环 境
    $ source activate py310_chat # 激 活 环 境

安装依赖

    $ pip install datasets langchain sentence_transformers tqdm chromadb langchain_wenxin

三、RAG问答应用实战

1. 数据构建

藜麦数据（https://baike.baidu.com/item/藜麦/5843874）保存到藜.txt 文件中。

2. 本地数据加载

from langchain.document_loaders import TextLoader
loader = TextLoader("./藜.txt") documents = loader.load() documents
>>>
[Document(page_content='藜（读音lí）麦（Chenopodium\xa0quinoa\xa0Willd.）是藜科藜属  植物。穗部可呈红、紫、黄，植株形状类似灰灰菜，成熟后穗部类似高粱穗。植株大小受环境及遗传因素影响较大，从0.3-3米不等，茎部质地较硬，可分枝可不分。单叶互生，叶片呈鸭掌  状，叶缘分为全缘型与锯齿缘型。藜麦花两性，花序呈伞状、穗状、圆锥状，藜麦种子较小， 呈小圆药片状，直径1.5-2毫米，千粒重1.4-3克。\xa0[1]\xa0\n原产于南美洲安第斯山脉的哥  伦比亚、厄瓜多尔、秘鲁等中高海拔山区。具有一定的耐旱、耐寒、耐盐性，生长范围约为海平面到海拔4500米左右的高原上，最适的高度为海拔3000-4000米的高原或山地地区。
\xa0[1]\xa0\n藜麦富含的维生素、多酚、类黄酮类、皂苷和植物甾醇类物质具有多种健康功  效。...

3. 文档分割

文档分割，借助langchain的字符分割器，这里采用固定字符长度分割chunk_size=128

# 文档分割
from langchain.text_splitter import CharacterTextSplitter # 创建拆分器
text_splitter = CharacterTextSplitter(chunk_size=128, chunk_overlap=0) # 拆分文档
documents = text_splitter.split_documents(documents) documents
[Document(page_content='藜（读音lí）麦（Chenopodium\xa0quinoa\xa0Willd.）是藜科藜属   植物。穗部可呈红、紫、黄，植株形状类似灰灰菜，成熟后穗部类似高粱穗。植株大小受环境及遗传因素影响较大，从0.3-