[使用Lantern实现Postgres中的向量相似性搜索：从零开始到实际应用]-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/143867889

# 使用Lantern实现Postgres中的向量相似性搜索：从零开始到实际应用

## 引言

在数据密集型的应用程序中，向量相似性搜索是一个常见的需求，尤其是在需要处理文档或图像等高维数据时。Lantern是一个强大的开源工具，能够在Postgres数据库中实现向量相似性搜索。本文将引导你如何配置和使用Lantern，并使用OpenAI的嵌入功能实现文档的相似性搜索。

## 主要内容

### 1. 安装必要的库

首先，你需要安装一些必要的Python库，包括`langchain-community`、`openai`、`psycopg2-binary`和`tiktoken`。这些工具将帮助我们连接数据库和利用OpenAI的嵌入服务。

```bash
!pip install openai psycopg2-binary tiktoken langchain-community

2. 配置环境变量

为了使用OpenAI的嵌入功能，你需要取得OpenAI的API密钥并将其设置为环境变量。这可以通过Python的getpass模块来实现，以确保安全性。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

3. 加载文档并生成嵌入

使用langchain-community库中的TextLoader加载文本数据，然后利用CharacterTextSplitter将文档分块，并使用OpenAIEmbeddings生成每个文档块的向量表示。

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Lantern
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()

4. 连接到Postgres数据库

使用Lantern模块连接到Postgres数据库。你可以从环境变量构建连接字符串，确保拥有适当的权限以创建表。

CONNECTION_STRING = getpass.getpass("DB Connection String:")

5. 执行相似性搜索

使用Lantern执行相似性搜索，默认使用余弦距离。你可以根据需要选择其他距离度量方法。

COLLECTION_NAME = "state_of_the_union_test"

db = Lantern.from_documents(
    embedding=embeddings,
    documents=docs,
    collection_name=COLLECTION_NAME,
    connection_string=CONNECTION_STRING,
    pre_delete_collection=True,
)

query = "What did the president say about Ketanji Brown Jackson"
docs_with_score = db.similarity_search_with_score(query)

for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)