生成式AI革新多模态信息检索技术

在过去的十年中，机器学习在很大程度上依赖于嵌入的概念：模型学习将输入数据转换为向量，使得向量空间中的几何关系蕴含语义信息。例如，在表示空间中嵌入位置相近的单词可能具有相似的含义。这种嵌入概念意味着一种直观的信息检索范式：查询被嵌入到表示空间中，模型选择其嵌入与之最接近的响应。这同样适用于多模态信息检索，因为文本和图像（或其他模态）可以嵌入到同一空间中。

然而，近年来生成式人工智能已主导机器学习研究。在2025年计算机视觉与模式识别会议（CVPR）上，一项研究提出了更新机器学习信息检索范式以适应生成式AI时代的方法。该模型名为GENIUS，是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。

与需要将查询向量与每个可能的响应向量进行比较的基于嵌入的检索不同（如果图像目录或文本语料库足够大，这是一项耗时的任务），该模型将查询作为输入并生成单个ID码作为输出。这种方法之前已有尝试，但GENIUS极大地改进了先前基于生成的信息检索方法。在两项不同数据集上使用三种不同指标（检索一个、五个或十个候选响应时的检索准确率）的测试中，GENIUS比先前性能最佳的生成式检索模型提升了22%到36%。当随后使用传统的基于嵌入的方法对生成的顶级候选响应进行重新排序时，性能又进一步提升了31%到56%，显著缩小了基于生成的方法与基于嵌入的方法之间的差距。

范式转变
信息检索是从大型数据库中查找相关信息的过程。传统的基于嵌入的检索将查询和数据库项都映射到高维空间中，并使用余弦相似度等度量来衡量相似性。虽然有效，但随着数据库的增长，这些方法面临可扩展性问题，原因是索引构建、维护和最近邻搜索的成本不断增加。

生成式检索已成为一种有前景的替代方案。生成模型不嵌入数据项，而是根据查询直接生成目标数据的标识符。这种方法能够实现恒定时间检索，不受数据库大小的影响。然而，现有的生成方法通常是任务特定的，与基于嵌入的方法相比性能不足，并且难以处理多模态数据。

GENIUS
与局限于单模态任务或特定基准的先前的尝试不同，GENIUS可推广到文本、图像和图文对的检索，同时保持高速度和有竞争力的准确性。其相较于先前基于生成的模型的优势基于两项关键创新：

• 语义量化：在训练期间，模型的目标输出ID通过残差量化生成。每个ID实际上是一个代码序列，其中第一个代码定义数据项的模态（图像、文本或图文对）。后续代码更具体地定义数据项在表示空间中的区域：共享第一个代码的项位于同一通用区域；共享前两个代码的项在该区域中聚类更紧密；共享前三个代码的项聚类更紧密，依此类推。模型尝试学习从输入编码中再现代码序列。
• 查询增强：这种方法产生的模型能够为熟悉的物体和文本类型生成准确的ID码，但可能难以推广到新的数据类型。为了解决这个限制，采用了查询增强技术。对于具有代表性的查询-ID对样本，通过在表示空间中对初始查询和目标ID进行插值来生成新的查询。这样，模型学习到多种查询可以映射到同一目标，这有助于其泛化。

结果
在使用M-BEIR基准进行的实验中，GENIUS在COCO数据集的文本到图像检索任务上，以Recall@5指标超越了最佳的生成式检索方法28.6个百分点。通过基于嵌入的重新排序，GENIUS在M-BEIR基准上通常能达到接近基于嵌入基线方法的结果，同时保留了生成式检索的效率优势。

GENIUS在生成式方法中实现了最先进的性能，并缩小了生成式方法与基于嵌入方法之间的性能差距。其效率优势随着数据集的增长而变得更加显著，在无需进行基于嵌入方法中昂贵的索引构建的情况下，保持高检索速度。因此，它代表了生成式多模态检索领域的重要一步。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）