开源语音 RAG 助手！用自然语音实时搜索向量数据库，革新语音交互体验！

本文链接：https://blog.youkuaiyun.com/bugyinyin/article/details/146470587

前言

传统的向量数据库搜索往往需要编写查询代码或手动输入关键词，对于非技术用户来说门槛较高。

而现在随着 AI 的进步，大家可以直接用语音对话搜索你的知识库，而无需手动输入关键词。

这不仅提升了查询效率，还能让 AI 理解你的问题语境，提供更精准的回答。

今天的主角：Oliva，正是这样一款可以通过自然语音实现对 Qdrant 向量数据库实时搜索的开源工具。

Oliva architecture

它是由 Deluxer 团队开发并在 GitHub 上开源的语音 RAG 助手。能实时处理你的语音指令，从 Qdrant 数据库中检索信息并生成回答。

无论是产品搜索、知识查询还是数据分析，它都能以自然、直观的方式提升效率。现在，这款工具已在 GitHub 开源，任何人都可以免费体验或改进它。

Oliva 背景

传统 RAG 技术主要基于文本搜索，虽然已经大幅提升 AI 的知识检索能力，但在实际应用中仍存在输入门槛高、交互不够自然、查询效率受限等问题。

而 Oliva 通过语音驱动 RAG，让 AI 具备更自然的人机交互、实时信息检索、智能化任务协作等优势。

主要功能

实时语音搜索：用自然语音提问，AI 实时响应
多智能体协作：采用 Langchain 多智能体架构，可将复杂问题拆解成多个子任务
向量搜索优化：基于 Qdrant 向量数据库，支持语义搜索
灵活集成：可连接本地或云端知识库

同时 Oliva 允许用户将本地文档、API 数据源、在线网页等作为 AI 的知识库，支持个性化配置。

Oliva 集成了 Deepgram（语音转文本）和 LiveKit（实时语音通信），将用户的自然语言指令转化为对向量数据库的查询，最终返回结构化结果。

快速使用

Oliva 是由Python语言开发实现的，目前仅支持本地部署。

Livekit Agent Playground

首先，把项目克隆到本地

git clone https://github.com/Deluxer/oliva.git
cd oliva

再执行下面的命令，自动创建虚拟环境，安装依赖项

uv sync

该工具，依赖 Livekit 账户，先注册登录，拿到APIKEY、APISECRET，配置环境变量

# 注册登录 
# https://cloud.livekit.io

cp .env.example .env

LIVEKIT_URL=wss://your-project.livekit.cloud
LIVEKIT_API_KEY=secret
LIVEKIT_API_SECRET=********

使用Docker运行Qdrant，在想要的地方设置API密钥：

docker run -p 6333:6333 -p 6334:6334 \
    -e QDRANT__SERVICE__API_KEY=******** \
    -v "$(pwd)/qdrant_storage:/qdrant/storage:z" \
    qdrant/qdrant