Scality RING对象存储支持RAG工作流

Scality宣布其RING对象存储系统已准备好支持检索增强生成(RAG)工作流,可与向量数据库和LangChain框架结合,为GPT等AI模型提供数据支持。

LangChain提供了将外部数据、内存和工具集成到AI工作流中的工具。在这种情况下,外部数据就是Scality的RING对象存储。向量数据库存储通过数学计算得出的向量,这些向量代表非结构化数据标记化片段的多个方面和维度。GPT或Llama等生成式AI模型只有在客户专有的非结构化数据被转换为向量并提供给它们时,才能在生成响应时使用这些数据。

如果没有这样的向量化处理,RING存储的数据对模型来说是不可见的。AI模型通常在静态、通用数据上进行训练。RAG(检索增强生成)技术让它们能够访问客户的专有数据,这些数据可以是静态的(历史数据)、当前的(实时数据)或两者兼有。这意味着模型能够更好地理解请求的背景和数据环境,从而提供更有针对性的响应。

Scality可以使用LangChain工具将选定的RING内容进行向量化,将其存储在Milvus向量数据库中,并使其可用于GPT-3.5、GPT-4、Llama等AI模型。

根据Scality的文章解释,向量嵌入以代表其含义的方式表示非结构化源数据。输入请求本身也被向量化,输入向量集提供了输入请求含义的抽象表示。然后,大语言模型或智能体在存储从Scality RING系统生成向量的Milvus数据库中搜索相似的向量。

Scality表示:"这使系统能够检索与用户查询在语义上匹配的内容。"例如,询问"如何管理2型糖尿病?"的输入查询可能使模型检测并使用关于"胰岛素敏感性"或"低升糖指数饮食"的文档,因为在语义搜索terms中,它们与输入请求生成的向量集接近。

向量数据库提供基于索引技术的近似最近邻(ANN)等搜索功能。ANN在非常大的搜索空间中寻找与输入模式最接近的近似模式。搜索空间如此之大,以至于逐一检查每个数据点以找到绝对最匹配项是不现实的,会耗费太长时间。

Sc

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值