[掌握Google Spanner：无限扩展的关系数据库与向量搜索集成指南]

掌握Google Spanner：无限扩展的关系数据库与向量搜索集成指南

在现代软件架构中，选择合适的数据库技术至关重要。Google Spanner作为一款高度可扩展的数据库，结合了无限的可扩展性和关系语义，为开发者提供了一体化的解决方案，包括次级索引、强一致性、模式和SQL查询能力。此外，Spanner还提供高达99.999%的可用性。在本文中，我们将深入探讨如何使用Spanner进行向量搜索，并提供实用的代码示例。

1. 引言

本文旨在指导开发者如何使用Google Spanner与SpannerVectorStore类进行向量搜索。这不仅包括设置和初始化Spanner，还涵盖了向量搜索的基本操作。

2. 基本设置

创建和配置Google Cloud项目

在开始之前，需要完成以下步骤：

• 创建Google Cloud项目
• 启用Cloud Spanner API
• 创建Spanner实例和数据库

安装库

我们将使用langchain-google-spanner包，安装命令如下：

%pip install --upgrade --quiet langchain-google-spanner

注意：可能需要重启内核以便使用更新的包。

认证

通过Google Colab进行认证：

from google.colab import auth
auth.authenticate_user()

设置项目ID

PROJECT_ID = "my-project-id"  # 请替换为你的Google Cloud项目ID
!gcloud config set project {PROJECT_ID}

启用API

确保启用Spanner和Vertex AI API：

!gcloud services enable spanner.googleapis.com
!gcloud services enable aiplatform.googleapis.com

3. 初始化Spanner数据库

设置数据库值

INSTANCE = "my-instance"  # Spanner实例名称
DATABASE = "my-database"  # Spanner数据库名称
TABLE_NAME = "vectors_search_data"  # 表名称

初始化表

from langchain_google_spanner import SecondaryIndex, SpannerVectorStore, TableColumn

SpannerVectorStore.init_vector_store_table(
    instance_id=INSTANCE,
    database_id=DATABASE,
    table_name=TABLE_NAME,
    id_column="row_id",
    metadata_columns=[
        TableColumn(name="metadata", type="JSON", is_null=True),
        TableColumn(name="title", type="STRING(MAX)", is_null=False),
    ],
    secondary_indexes=[
        SecondaryIndex(index_name="row_id_and_title", columns=["row_id", "title"])
    ],
)

创建嵌入类实例

from langchain_google_vertexai import VertexAIEmbeddings

embeddings = VertexAIEmbeddings(
    model_name="textembedding-gecko@latest", project=PROJECT_ID
)

4. 代码示例

完整的示例展示了如何初始化SpannerVectorStore和进行简单的操作：

db = SpannerVectorStore(
    instance_id=INSTANCE,
    database_id=DATABASE,
    table_name=TABLE_NAME,
    ignore_metadata_columns=[],
    embedding_service=embeddings,
    metadata_json_column="metadata",
)

# 添加文档
import uuid
from langchain_community.document_loaders import HNLoader

loader = HNLoader("https://news.ycombinator.com/item?id=34817881")
documents = loader.load()
ids = [str(uuid.uuid4()) for _ in range(len(documents))]

# 搜索文档
search_results = db.similarity_search(query="Explain me vector store?", k=3)

# 删除文档
db.delete(ids=[ids[0]])

5. 常见问题和解决方案

• 问题: 网络访问不稳定

  • 解决方案: 使用API代理服务，例如{AI_URL}，以提高访问稳定性。

• 问题: API服务未启用

  • 解决方案: 确保在Google Cloud控制台中已启用所需的API服务。

6. 总结与进一步学习资源

本文介绍了如何在Google Spanner中使用向量搜索。完整的代码和操作步骤能够帮助您更好地理解和应用这项技术。欲获取更多信息，请参考以下资源：

• Google Spanner 官方文档
• LangChain GitHub 仓库

7. 参考资料

1. Google Cloud Spanner Documentation
2. LangChain GitHub Repository

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—