Oliva:一个多智能体,开源语音 RAG 助手

从小白到专家:DeepSeek 模型硬件配置完全指南 DeepSeek是由深度求索(DeepSeek)推出的一系列大语言模型,涵盖从轻量级到超大规模的不同版本。高效性:优化了推理和训练效率,适合多种应用场景。灵活性:支持从单机到分布式集群的部署方式。多场景适配:适用于文本生成、代码补全、对话系统等任务。为了充分发挥DeepSeek模型的性能,合理的硬件配置至关重要。以下是针对不同规模模型的具体硬件需求。 阅读详情

img

项目概述

Oliva 是一个多智能体助手,其核心功能是协助用户在 Qdrant 数据库中查找产品。它利用了 LangChain 和 Superlinked 等技术,具备语义搜索能力,还支持语音交互,用户可以通过语音指令与系统进行交互。

安装和使用

安装
  1. 安装项目依赖:
uv sync

这将在 .venv 中创建一个虚拟环境,并安装所有必需的依赖项。
2. 创建 Livekit 账户并设置环境变量:

LIVEKIT_URL=wss://your-project.livekit.cloud
LIVEKIT_API_KEY=secret
LIVEKIT_API_SECRET=********
  1. 设置环境变量:
cp .env.example .env
  1. 使用 Docker 运行 Qdrant:
docker run -p 6333:6333 -p 6334:6334 \
    -e QDRANT__SERVICE__API_KEY=******** \
    -v "$(pwd)/qdrant_storage:/qdrant/storage:z" \
    qdrant/qdrant
使用
  • 语音助手:
make oliva-start
  • 语音助手前端:可以使用 Agent playground 与语音助手进行交互,也可以下载 Agent playground 仓库并在本地运行 npm run start。

总结

该仓库实现了一个功能丰富的多智能体助手系统,通过模块化的设计和灵活的配置,支持多种搜索任务和交互方式。用户可以根据自己的需求进行定制和扩展,利用智能体和工具完成不同的业务场景。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

DeepSeek R1本地化部署与联网功能实战指南:从零搭建智能对话系统 在人工智能技术快速发展的今天,如何将先进的对话模型DeepSeek R1部署到本地环境并赋予其联网能力,成为许多开发者和企业关注的重点。本文将深入讲解完整的本地化部署流程,并通过实例代码演示如何为模型添加实时网络访问功能。 阅读详情

相关推荐

未来已来?2026最新国内15家AI大模型应用盘点(附体验网址,持续更新)

未来已来?国内15家AI大模型盘点及体验网址,一起来看看吧!

Code_流苏:在代码中寻诗意,在实践中觅真知 12万+

TensorFlow相关组件的安装

TensorFlow相关组件的安装

AAI666666的博客 3937

基于Ventoy制作单个U盘引导Windows+Linux+黑苹果macOS

一款国内高手开发的一个名为Ventoy的开源多系统启动U盘制作工具,官方链接:https://www.ventoy.net/cn/index.html Ventoy 特点 不影响U盘日常普通使用 直接从ISO文件启动,无需解开 支持MBR和GPT分区格式(1.0.15+) 支持超过4GB的ISO文件 支持大部分常见操作系统, 已测试650+ 个ISO文件 不仅仅是启动,而是完整的安装过程 版本升级时数据不会丢失 Ventoy 待改进 不支持macOS和ChromeOS 准备2个空的U.

wybarcelona的博客 3万+

本地部署DeepSeek大模型电脑配置推荐

针对本地部署DeepSeek大模型的配置需求,需根据模型规模(如7B/13B/70B参数)和量化方案进行区分。

huang9604的博客 3万+

CXL Virtual Hierarchy (VH) Enumeration理解

在 CXL 3.0 协议中,CXL Virtual Hierarchy (VH) Enumeration 是一种针对 CXL 虚拟层级(Virtual Hierarchy) 设计的设备枚举机制,它允许软件将物理连接的 CXL 设备抽象为多个逻辑层级(虚拟层级),从而实现更灵活的资源管理和拓扑扩展。与传统的 PCIe 枚举相比,CXL VH 枚举在协议特性、拓扑抽象和资源分配机制上有显著差异。本质:VH 是一个逻辑上的设备层级结构,可能与物理连接拓扑不同。

Summer的博客 1006

ICS v9.5 OverbyteIcsWSocket.pas 整体架构分析

核心架构:OverbyteIcsWSocket.pas 是 Internet Component Suite (ICS) 的基础网络组件单元,提供跨平台 Winsock API 封装,支持TCP/UDP 客户端/服务器,DNS 解析和Raw Socket。在 v9.5 中,SSL/TLS 代码已分离至 OverbyteIcsSslBase.pas 等单元,使核心单元更精简,专注于非加密 socket 操作。

sonadorje的专栏 994

【GitHub开源AI精选】Oliva:开源语音RAG助手,一句话秒搜海量数据,多AI协作颠覆传统搜索

本文介绍了一系列基于GitHub的开源AI项目,涵盖了从影视解说、虚拟试穿、剧本生成到语音转文本、智能眼镜等多个领域。这些项目展示了AI技术在各个行业中的创新应用,如Narrato AI的影视解说工具、TryOffDiff的虚拟试穿技术、FilmAgent的剧本自动生成等。特别提到Oliva,一款基于Langchain和Superlinked技术的开源语音RAG助手,通过语音驱动和Qdrant向量数据库实现实时信息搜索,支持多智能体协作,提升复杂问题的处理能力。

寻道AI,探索AI无限可能! 2478

实战避坑:在Ubuntu 22.04上配置NVIDIA GPU Direct RDMA时,必须搞清的P2P DMA与IOMMU那些事

本文深入探讨在Ubuntu 22.04上配置NVIDIA GPU Direct RDMA时P2P DMA与IOMMU的关键问题,解析PCIe架构中的地址转换、P2P DMA与标准DMA的区别,以及IOMMU对性能的影响。通过实战案例和调优建议,帮助用户避免常见配置陷阱,提升AI训练集群的数据传输效率。

weixin_33720078的博客 446

Oliva:语音RAG革命!开源多智能体秒解复杂搜索,实时对讲颠覆传统

Oliva是一款基于Langchain和Superlinked的开源语音RAG助手,通过实时语音交互在Qdrant向量数据库中进行语义搜索,支持多智能体协作处理复杂查询任务。

士多啤梨先生の博客 807

AI Agent智能体在Android开发中的应用

本文探讨了AIAgent(智能代理体)在Android开发中的应用,涵盖技术原理、实践案例与未来趋势。AIAgent通过机器学习、自然语言处理等技术实现代码生成、测试自动化及性能优化,显著提升开发效率。例如,强化学习模型可优化APP响应时间(公式:$\text{响应时间}=f(\text{负载},\text{资源})$),自动化测试覆盖率提升至95%。

郑伟强dev的专栏 125

【以太网硬件十九】SGMII到底能不能直接出光模块?

详细解释为什么SGMII可以直接出光模块及其使用限制

highman110的博客 1万+

开源语音 RAG 助手!用自然语音实时搜索向量数据库,革新语音交互体验!

传统的向量数据库搜索往往需要编写查询代码或手动输入关键词,对于非技术用户来说门槛较高。 而现在随着 AI 的进步,大家可以直接用语音对话搜索你的知识库,而无需手动输入关键词。

bugyinyin的博客 563

第201期 解锁科研效率新高度:Claude 科学技能插件(claude-scientific-skills)深度体验

科研AI助手Claude Scientific Skills开源工具为Claude大模型扩展科学能力,覆盖数据可视化、数学计算、学术格式处理等科研全流程需求。该插件支持LaTeX公式生成、自动化科研图表绘制、学术文档规范校正等功能,让研究人员通过自然语言指令即可完成专业任务。项目开源可定制,支持特定学科需求扩展,目前已托管于GitHub。使用门槛低,只需配置Claude API密钥即可快速启用,帮助科研人员从繁琐技术细节中解放,聚焦核心研究创新。

全网120W+关注AI拉呱,专注人工智能以及科技前沿! 1362

部署deep seek需要什么样的硬件配置?

部署DeepSeek(或其他类似的大语言模型)的硬件配置需求取决于具体场景(如推理、微调、训练)、模型规模(参数量)、并发请求量以及性能要求。使用量化(4/8-bit)、模型并行(Tensor Parallelism)、流水线并行等技术降低资源需求。:70B模型需2-4张A100(80GB)进行推理,或使用量化技术(如GPTQ/GGUF)降低显存需求。:2-4张显存≥40GB的显卡(如NVIDIA A100 40GB/80GB、H100):NVMe SSD ≥ 512GB(模型文件约占用20-30GB)

5万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

【大模型】—AI大模型总体概述

本文将对AI大模型进行简要介绍,包括其定义、发展历程以及分类等。

crystal_csdn8的博客 2万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

DeepSeek本地部署详细指南

DeepSeek本地部署详细指南随着人工智能技术的飞速发展,本地部署大模型的需求也日益增加。DeepSeek作为一款开源且性能强大的大语言模型,提供了灵活的本地部署方案,让用户能够在本地环境中高效运行模型,同时保护数据隐私。以下是详细的DeepSeek本地部署流程。(一)硬件需求最低配置:CPU(支持AVX2指令集)+ 16GB内存 + 30GB存储。推荐配置:NVIDIA GPU(RTX 3090或更高)+ 32GB内存 + 50GB存储。(二)软件依赖。

weixin_49684553的博客 3万+

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

一文让你搞懂什么是AI大模型

AI大模型(Large AI Models)是指具有大量参数和复杂结构的人工智能模型。这些模型通常基于深度学习技术,能够处理大量数据并从中学习复杂的模式和关系。大模型的出现,极大地提升了AI在各个领域的表现能力。通过本文的介绍,相信你已经对AI大模型有了全面的了解。无论是自然语言处理、图像识别,还是自动驾驶、医疗健康,AI大模型都展现出了强大的能力和广泛的应用场景。希望本文能够帮助你更好地理解和应用AI大模型,推动你的技术创新和实践。

码上飞扬的博客 9980

最近,大模型岗位爆了。。。

重磅消息,国资委打响了国内AI第一枪!这意味着传统行业又迎来了一次大洗牌,现在国内头部人工智能公司已经开始用AI数字人助力各行各业,除此之外,知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下,与其焦虑被行业淘汰,不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力,为了帮助普通程序员享受时代红利,

qq_46094651的博客 1017

什么是AI大模型(非常详细)从零基础入门到精通,收藏这篇就够了

瞧瞧这张表,OpenAI的GPT系列,Google的Gemini、PaLM,Meta的Llama……个个都是响当当的名号。参数量一个比一个吓人,发布时间一个比一个新。这哪是技术竞赛,分明是烧钱大赛!每个模型都吹嘘自己多牛逼,能干多少事。但用户真正能用上的、用得爽的,又有多少?别光看广告,疗效才是关键。而且,这些巨头们的技术壁垒越筑越高,小玩家还怎么活?

leah126的博客 6324

2025年全球AI大模型排行:DeepSeek、通义千问、GPT‑4o

2025年国内外AI大模型排名显示,国内领先的模型包括阿里巴巴的通义千问、字节跳动的豆包大模型和百度的文心一言4.0,这些模型在中文理解、多模态融合和商业化应用方面表现突出。国外的领先模型如OpenAI的GPT‑4o和Google的Gemini 2.0 Ultra,则在多模态输入、大规模参数和全球化应用上具有显著优势。国内外模型均持续迭代,优化性能并拓展应用场景,满足不同行业需求。

Explinks的博客 1万+

DeepSeek-VL2部署指南

DeepSeek-VL2是一款力图学习和实现深度学习和视觉语言结合的工具包。本文将介绍如何在本地环境中安装和部署DeepSeek-VL2。

haibo2144的博客 3万+

PyTorch基础(14)-- torch.roll()方法

一、前言 二、torch.roll()方法解析 三、案例分析

奋斗の博客 9036

AI大模型知识点大梳理

AI大模型是指具有巨大参数量的深度学习模型,通常包含数十亿甚至数万亿个参数。这些模型可以通过学习大量的数据来提高预测能力,从而在自然语言处理、计算机视觉、自主驾驶等领域取得重要突破。AI大模型的定义具体可以根据参数规模来分类

yang1fei2的博客 3万+
上一篇: 葵花宝典之「知识库」调优秘籍!RAG优化指南!
下一篇: 不止语义检索,Milvus+LangChain全文检索RAG教程来了
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2840原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值