LLM漫谈（三）| 使用Chainlit和LangChain构建文档问答的LLM应用程序

一、Chainlit介绍

     Chainlit是一个开源Python包，旨在彻底改变构建和共享语言模型（LM）应用程序的方式。Chainlit可以创建用户界面（UI），类似于由OpenAI开发的ChatGPT用户界面，Chainlit可以开发类似streamlit的web界面。

1.1 Chainlit的主要特点

• 可视化中间步骤：Chainlit可以可视化大语言模型管道中的每个步骤；
• Chainlit与Python代码轻松集成，可以快速释放LM应用程序的潜力；
• 快速响应的UI开发：使用Chainlit可以利用其直观的框架来设计和实现类似于ChatGPT的迷人UI。

1.2 Chainlit装饰器功能

on_message：

      与框架的装饰器，用于对来自UI的消息作出反应。每次收到新消息时，都会调用装饰函数。

on_chat_start：

       Decorator对用户websocket连接事件作出反应。

1.3 概念

User Session：

      user_session是一个存储用户会话数据的字典，id和env键分别保持会话id和环境变量。用户会话其他数据存储在其他key中。

Streaming：

Chainlit支持两种类型的流：

Python Streaming（https://docs.chainlit.io/concepts/streaming/python）

Langchain Streaming（https://docs.chainlit.io/concepts/streaming/langchain）

二、实施步骤

1.开始上传PDF格式文件，确保其正确提交；

2.随后，使用PyPDF2从上传的PDF文档中提取文本内容；

3.利用OpenAIEmbeddings将提取的文本内容转换为矢量化嵌入；

4.将这些矢量化嵌入保存在指定的向量库中，比如Chromadb；

5.当用户查询时，通过应用OpenAIEmbeddings将查询转换为相应的矢量嵌入，将查询的语义结构对齐到矢量化域中；

6.调用查询的矢量化嵌入有效地检索上下文相关的文档和文档上下文的相关元数据；

7.将检索到的相关文档及其附带的元数据传递给LLM，从而生成响应。

三、代码实施

3.1 安装所需的包

pip install -qU langchain openai tiktoken pyPDF2 chainlitconda install -c conda-forge chromadb

3.2 代码实施

#import required libraries<