徒手使用LangChain搭建一个ChatGPT PDF知识库_langchain pdf知识库-优快云博客

本文链接：https://blog.youkuaiyun.com/python1234_/article/details/140286744

环境搭建

首先要在电脑上安装 Python，直接在官网下载安装包进行安装即可：www.python.org/downloads/

# 创建文件夹，可随意命名
mkdir chatgpt-pdf
cd chatgpt-pdf
# 创建虚拟环境（第二个venv为虚拟环境的名称，之所以使用venv是因为一般通用的.gitignore会默认忽略该文件夹，完全可以选择使用其它名称）
python3 -m venv venv
# 激活虚拟环境
source venv/bin/activate
# 安装依赖包
pip install langchain pdfplumber python-dotenv streamlit faiss-cpu openai tiktoken

langchain官网位于python.langchain.com/en/latest/i… ，它可以简化对各种大语言模型的使用，比如内置有OpenAI等。

pdfplumber顾名思义，是用于读取和处理PDF文件的，选择这库是因为今年还在更新，并且对中文的支持还不错。本次项目demo会导入自己的PDF文件，并将其作为知识库，回答你的提问。

python-dotenv用于读取.env文件，本例在该文件中放入Open AI平台的key。

streamlit用于绘制 UI界面，当前大多数ChatGPT应用都使用它，如大名鼎鼎的gpt4free，streamlit默认会收集信息进行分析，可通过配置文件关闭，macOS和Linux位于~/.streamlit/config.toml，Windows位于%userprofile%/.streamlit/config.toml，添加如下内容即可：

[browser]
gatherUsageStats = false

其它配置项可通过streamlit config show可查看。

faiss-cpu是facebook开源用于相似搜索的库，github.com/facebookres… ，GPU版本请使用faiss-gpu。

openai和tiktoken都是调用ChatGPT接口时使用的。

保留当前使用版本请使用pip freeze > requirements.txt。

OpenAI的注册方式这里就不介绍了，最常用的是在sms-activate.org/ 上购买服务获取短信验证码完成注册。

代码开发

知识库搭建和使用流程图如下：

徒手使用LangChain搭建一个ChatGPT PDF知识库

我们在根目录下创建.env文件：

OPENAI_API_KEY=你自己的key

这里的OPENAI_API_KEY名称固定，请不要修改。

然后创建app.py，先进行环境变量的读取（使用编辑器的小伙伴请注意选择刚刚创建的环境，PyCharm应该能自动识别，VScode 请按下快捷键 ctrl/cmd+shift+p进行选择），先测试读取环境变量是否正常

from dotenv import load_dotenv
import os

load_dotenv()
print(os.getenv('OPENAI_API_KEY'))

接着搭建页面框架：

import streamlit as st

st.set_page_config(page_title="专属PDF知识库")
st.header("专属PDF知识库💬")
# 上传文件
pdf = st.file_uploader("上传PDF文件", type="pdf")

运行streamlit run app.py效果如下：

徒手使用LangChain搭建一个ChatGPT PDF知识库

提取文本：

import pdfplumber

# 提取文本
if pdf is not None:
  text = ""
  with pdfplumber.open(pdf) as pdf_reader:
    for page in pdf_reader.pages:
      text += page.extract_text()

接下对文本进行分片，这里每个分片长充为1000字符，为保留上下文选择了重叠200字符：

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(
  separator="\n",
  chunk_size=1000,
  chunk_overlap=200,
  length_function=len
)
chunks = text_splitter.split_text(text)

接下来配置 embedding，也即将离散值转化为连续向量：

embeddings = OpenAIEmbeddings()
knowledge_base = FAISS.from_texts(chunks, embeddings)

为界面添加一个输入框：

user_question = st.text_input("来向我提问吧：")

最后完成回复的逻辑：

from langchain.chains.question_answering import load_qa_chain
from langchain.llms import OpenAI
if user_question:
  docs = knowledge_base.similarity_search(user_question)
  
  llm = OpenAI()
  chain = load_qa_chain(llm, chain_type="stuff")
  response = chain.run(input_documents=docs, question=user_question)

  st.write(response)

如需追踪花了多少钱，可增加：

from langchain.callbacks import get_openai_callback
with get_openai_callback() as cb:
 response = chain.run(input_documents=docs, question=user_question)
 print(cb)
st.write(response)

徒手使用LangChain搭建一个ChatGPT PDF知识库
完整代码：

from dotenv import load_dotenv
import streamlit as st
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.chains.question_answering import load_qa_chain
from langchain.llms import OpenAI
from langchain.callbacks import get_openai_callback
import pdfplumber


def main():
  load_dotenv()

  # locale.setlocale(locale.LC_ALL, 'zh_CN')
  st.set_page_config(page_title="专属PDF知识库")
  st.header("专属PDF知识库💬")
  # 上传文件
  pdf = st.file_uploader("上传PDF文件", type="pdf")

  # 提取文本
  if pdf is not None:
    text = ""
    with pdfplumber.open(pdf) as pdf_reader:
      for page in pdf_reader.pages:
        text += page.extract_text()
    
    # 文本分片
    text_splitter = CharacterTextSplitter(
      separator="\n",
      chunk_size=1000,
      chunk_overlap=50,
      length_function=len
    )
    chunks = text_splitter.split_text(text)
    
    # 创建embeddings
    embeddings = OpenAIEmbeddings()
    knowledge_base = FAISS.from_texts(chunks, embeddings)
    user_question = st.text_input("来向我提问吧：")
    if user_question:
      docs = knowledge_base.similarity_search(user_question)
      
      llm = OpenAI()
      chain = load_qa_chain(llm, chain_type="stuff")
      with get_openai_callback() as cb:
        response = chain.run(input_documents=docs, question=user_question)
        print(cb)
          
      st.write(response)

if __name__ == '__main__':
    main()

国内直连接口超时问题

如果有海外服务器可以直接做代理

网上现在比较通用的方案是使用 Cloudflare Workers，比如下面是 Alan随便找到的一段代码：

const TELEGRAPH_URL = 'https://api.openai.com';

addEventListener('fetch', event => {
  event.respondWith(handleRequest(event.request))
})

async function handleRequest(request) {
  const url = new URL(request.url);
  url.host = TELEGRAPH_URL.replace(/^https?:///, '');

  const modifiedRequest = new Request(url.toString(), {
    headers: request.headers,
    method: request.method,
    body: request.body,
    redirect: 'follow'
  });

  const response = await fetch(modifiedRequest);
  const modifiedResponse = new Response(response.body, response);

  // 添加允许跨域访问的响应头
  modifiedResponse.headers.set('Access-Control-Allow-Origin', '*');

  return modifiedResponse;
}

但现在xxx.workers.dev在国内也无法访问，所以也是有门槛的，那就是要绑定一个自定义域名。自定义域可在.env文件中添加OPENAI_API_BASE=xxx.xxx.xxx/v1。

Unsupported OpenAI-Version header provided: 2022-12-01. (HINT: you can provide any of the following supported versions: 2020-10-01, 2020-11-07. Alternatively, you can simply omit this header to use the default version associated with your account.)
这个问题待探讨，快速解决方法是
```
embeddings = OpenAIEmbeddings(openai_api_version='2020-11-07')
```

github.com/hwchase17/l…

参考资料：

python.langchain.com/en/latest/i…

bennycheung.github.io/ask-a-book-…

https://www.youtube.com/watch?v=wUAUdEw5oxM

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述