智驾大模型痛点直击！OmniSearch实现智能动态规划！-优快云博客

自动驾驶大语言模型 (LLMs) 正在面临一系列挑战：领域知识的缺乏、信息准确性问题以及生成的虚假内容等。而检索增强生成 (RAG) 技术，弥补了大模型的不足，但传统的mRAG方法遵循固定的检索流程，检索效率不高。

阿里最新推出的研究OmniSearch就以动态检索规划框架，打破了传统mRAG局限！模拟了人类在解决复杂问题时的行为方式，有o1思考推理那味儿了！

更重要的是，作为即插即用的RAG模块，OmniSearch可以与任意MLLMs协同工作以增强其处理复杂动态问题的能力！

👇🏻扫描二维码找助教0元预约直播课！

为了帮助大家综合掌握多模态RAG新框架，消除大模型幻觉。研梦非凡于12月25日晚（周三），邀请了从事多模态大模型研究的王导师，独家详解《打破传统多模态检索瓶颈,OmniSearch实现智能动态规划！》（AI前沿直播课NO.89），主要涉及1篇阿里的最新工作，该论文ICLR2025在投，评分为8665，接收应该问题不大！从顶会热门MLLMs方向，再到目前多模态大语言模型的幻觉问题、RAG技术，重点讲解顶会工作-OmniSearch核心原理，及最新动态VQA数据集，1节课速通！

直播课福利

扫码预约即可免费领取200篇相关论文（20篇幻觉前沿+70篇多模态+120篇大模型）！

ps：研梦非凡开设的前沿论文系列直播，旨在帮助大家提升读论文技能，快速抓住重点，掌握有效方法，进而找到创新点，轻松完成论文报告。

直播课内容概览

01 多模态行业热点

顶会热门方向
多模态RAG技术
多模态大语言模型的幻觉问题

02 研究背景

多模态大语言模型的幻觉问题
缺乏有挑战性的动态VQA数据集
现有mRAG方法的表现欠佳

03 相关工作详解

RAG in LLMs
多模态检索基础
多模态大语言模型

👇🏻扫描二维码找助教0元预约直播课！

04 OmniSearch详细算法框架

Planning Agent
Retriever
Sub-question Solver

05 实验要点

Experimental Settings
Main Results
Analysis Experiments on Dyn-VQA Dataset

06 多模态检索增强生成创新点

构建了一个具有挑战性的数据集Dyn-VQA
提出了首个自适应规划型多模态检索智能体OmniSearch

导师简介

王导师

【学术背景】985硕出身，拥有丰富的深度学习研究、论文发表经验，多篇SCI论文、EI会议论文（一作）

【研究方向】大语言模型、视觉语言模型、多模态学习，以及自然语言处理、进化算法等

👇🏻扫描二维码找助教0元预约直播课！

研梦非凡科研论文指导

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

<<< 左右滑动见更多 >>>

👇🏻扫描二维码找助教0元预约直播课！

研梦非凡部分导师介绍

研梦非凡导师团队，来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后，以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等。这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～