引言
StarRocks是一种高性能的分析数据库,因其快速的向量化执行引擎而广受欢迎。本文旨在介绍如何使用StarRocks作为向量存储(Vector Store),以帮助开发者在复杂数据分析场景中实现高效的数据处理。
主要内容
1. 环境搭建
首先,安装必要的Python包:
%pip install --upgrade --quiet pymysql langchain-community
2. 文档处理
加载和拆分文档
从StarRocks GitHub仓库下载文档,然后加载并拆分为多个标记。
from langchain.chains import RetrievalQA
from langchain_community.document_loaders import DirectoryLoader, UnstructuredMarkdownLoader
from langchain_text_splitters import TokenTextSplitter
loader = DirectoryLoader(
"./docs", glob="**/*.md", loader_cls=UnstructuredMarkdownLoader
)
documents