使用MyScale进行高性能向量搜索与分析-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/149042373

MyScale与LangChain的结合：高性能向量搜索

在现代数据科学应用中，处理和分析数据的需求不断增长，其中包括结构化数据和非结构化的数据（如向量化数据）。MyScale提供了一种解决方案，它结合了SQL和向量数据查询，并且基于ClickHouse的云原生OLAP架构，使得即便是海量数据也能够实现快速处理。下面我们将介绍如何在LangChain中使用MyScale进行高性能向量搜索，并给出详细的代码示例。

安装与设置

安装Python SDK

首先，确保已经安装ClickHouse连接库：

pip install clickhouse-connect

环境设置

MyScale提供了两种方式来设置连接参数：环境变量和直接创建配置对象。

方法一：环境变量

export MYSCALE_HOST='<your-endpoints-url>'
export MYSCALE_PORT=<your-endpoints-port>
export MYSCALE_USERNAME='<your-username>'
export MYSCALE_PASSWORD='<your-password>'

确保你已在SaaS平台上注册，并且可以找到相关的账号和密码信息。

方法二：创建MyScaleSettings对象

from langchain_community.vectorstores import MyScale, MyScaleSettings

# 创建配置对象
config = MyScaleSettings(
    host="<your-backend-url>",
    port=8443,
    username="<your-username>",
    password="<your-password>"
)

# 实例化MyScale向量库
index = MyScale(embedding_function, config)

# 添加文档到MyScale存储
index.add_documents([...])

核心功能与代码演示

MyScale库支持以下向量存储功能，这些功能可以帮助我们进行语义搜索和相似性检索：

add_texts
add_documents
from_texts
from_documents
similarity_search
similarity_search_by_vector
similarity_search_with_relevance_scores
delete

示例：语义搜索

以下是使用MyScale实现语义搜索的基本示例：

from langchain_community.vectorstores import MyScale

# 初始化MyScale向量库
index = MyScale(embedding_function, config)

# 添加文本进行语义搜索
texts = ["This is a sample text for vectorization.", "Another example text."]
index.add_texts(texts)

# 进行相似性搜索
query = "Sample query text"
results = index.similarity_search(query)