使用Google BigQuery进行向量搜索的实战教程

# 使用Google BigQuery进行向量搜索的实战教程

在AI技术的发展中，语义搜索变得越来越重要。通过使用向量索引，Google Cloud BigQuery 向量搜索让您可以使用 GoogleSQL 进行快速的语义搜索。这篇文章将向您展示如何通过 LangChain 在 BigQuery 中实现可扩展的语义搜索，重点介绍 BigQueryVectorStore 类的使用。

## 技术背景介绍

Google BigQuery 提供了一种无服务器的数据仓库解决方案，可以处理大规模数据集。而 BigQuery 的向量搜索功能使其能够快速处理语义搜索请求，通过近似结果或精确结果提升查询效率。这篇教程重点介绍如何使用 LangChain 库中的 BigQueryVectorStore 类来实现语义搜索。

## 核心原理解析

BigQueryVectorStore 类是一种灵活的向量搜索解决方案，它通过使用嵌入模型将文本转换为向量，然后存储在 BigQuery 中。可以进行快速搜索和批量检索，适合快速原型设计和生产环境。

## 代码实现演示

为了展示这个过程，我们需要安装相关库并设置环境。以下代码将指导您完成这些步骤：

```python
# 安装 LangChain 相关库
%pip install --upgrade --quiet langchain langchain-google-vertexai "langchain-google-community[featurestore]"

# 重新启动 Jupyter 运行内核以应用新安装的库
import IPython

app = IPython.Application.instance()
app.kernel.do_shutdown(True)

# 配置项目ID
PROJECT_ID = "your_project_id"  # @param {type:"string"}
! gcloud config set project {PROJECT_ID}

# 设置 BigQuery 的位置和数据集
REGION = "us-central1"  # @param {type: "string"}
DATASET = "my_langchain_dataset"  # @param {type: "string"}
TABLE = "doc_and_vectors"  # @param {type: "string"}

# 创建嵌入对象实例
from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", project=PROJECT_ID
)

# 初始化 BigQueryVectorStore
from langchain_google_community import BigQueryVectorStore

store = BigQueryVectorStore(
    project_id=PROJECT_ID,
    dataset_name=DATASET,
    table_name=TABLE,
    location=REGION,
    embedding=embedding,
)

# 添加文本数据
all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]

store.add_texts(all_texts, metadatas=metadatas)

# 根据查询进行文档搜索
query = "I'd like a fruit."
docs = store.similarity_search(query)
print(docs)

# 根据向量进行文档搜索
query_vector = embedding.embed_query(query)
docs = store.similarity_search_by_vector(query_vector, k=2)
print(docs)

# 使用元数据过滤进行搜索
docs = store.similarity_search_by_vector(query_vector, filter={"len": 6})
print(docs)

应用场景分析

BigQueryVectorStore 非常适合用于快速原型设计和批量检索，因为它不需要复杂的基础设施设置。此外，它也可以通过 VertexFSVectorStore 实现低延迟的在线服务，非常适合用户界面友好的生成性AI应用程序。

实践建议

• 在开发阶段，可以充分利用 BigQueryVectorStore 进行快速测试。
• 对于生产环境，建议使用 VertexFSVectorStore 以便实现低延迟和高性能。
• 确保在使用任何外部API时，做好认证和权限管理。

如果遇到问题欢迎在评论区交流。

---END---