Oliva：语音RAG革命！开源多智能体秒解复杂搜索，实时对讲颠覆传统

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

---

🎙️ 「别让语音助手当复读机！Langchain+RAG让AI听懂潜台词」

大家好，我是蚝油菜花。这些语音交互的窒息操作你是否遭遇过——

• 👉 问「帮我对比量子计算三大框架优缺点」，AI回答「已为您播放《三体》有声书」
• 👉 需要同时查财报数据+写分析摘要，语音助手只会单线程挤牙膏式输出
• 👉 部署企业知识库时，发现语音搜索准确率比抛硬币还随机…

今天要炸翻AI圈的 Oliva ，正在重定义语音智能！这个开源界的「最强大脑」：

• ✅ 语音版Ctrl+F：对着空气说话直接穿透百万级数据库，结果秒出
• ✅ 智能体特工队：一个问题拆给N个AI专家处理，复杂查询像流水线作业
• ✅ 企业级耳语者：本地部署保障数据安全，支持API/文档/网页全接入

已有金融团队用它语音实时调取财报，制造厂靠多智能体排查故障——你的声音，就是打开数据宇宙的终极密钥！

🚀 快速阅读

Oliva是一个基于语音交互的检索增强生成(RAG)系统。

1. 功能：支持实时语音搜索、多智能体协作和语义理解
2. 技术：整合Deepgram语音识别、Qdrant向量数据库和Langchain多Agent框架

Oliva 是什么

Oliva 是开源的语音RAG助手，结合Langchain和Superlinked技术，基于语音驱动的RAG（检索增强生成）架构，帮助用户在Qdrant向量数据库中实时搜索信息。

用户基于自然语音提问，Oliva用语音转文本和实时语音通信技术，将语音指令转化为对数据库的查询，返回结构化结果。Oliva支持多智能体协作，将复杂问题拆解为多个子任务，由不同智能体处理。

Oliva 的主要功能

• 实时语音搜索：用户基于语音提问，AI实时响应
• 多智能体协作：将复杂问题拆解为多个子任务，不同智能体分别处理
• 语义搜索：基于Qdrant向量数据库，理解语义，提供精准搜索结果
• 灵活集成：支持接入本地文档、API数据源、在线网页等作为知识库

Oliva 的技术原理

• 语音识别与合成：基于Deepgram提供的语音转文本服务，将用户的语音指令转换为文本
• 向量数据库：基于Qdrant向量数据库存储和检索数据，支持高效相似性搜索
• Langchain多智能体架构：构建多智能体系统，基于动态任务路由实现智能体协作
• 检索增强生成(RAG)：结合检索和生成技术，从数据库获取信息并生成自然语言回答
• 实时通信：集成Livekit平台支持实时语音交互
• 语义理解：使用NLP技术和向量嵌入实现精准语义搜索

如何运行 Oliva

1. 安装依赖

uv sync

2. 配置Livekit

创建Livekit账号并获取以下凭证：

LIVEKIT_URL=wss://your-project.livekit.cloud
LIVEKIT_API_KEY=secret
LIVEKIT_API_SECRET=********

3. 设置环境变量

cp .env.example .env

4. 运行Qdrant数据库

docker run -p 6333:6333 -p 6334:6334 \
    -e QDRANT__SERVICE__API_KEY=******** \
    -v "$(pwd)/qdrant_storage:/qdrant/storage:z" \
    qdrant/qdrant

5. 启动语音助手

make oliva-start

6. 访问前端

使用Agent playground连接 Livekit 项目与语音助手交互。

• Agent playground：https://agents-playground.livekit.io/

资源

• GitHub 仓库：https://github.com/Deluxer/oliva

---

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦