FlowMo: 模式搜索+扩散模型提升图像Token化性能

摘要

随着多模态人工智能应用的快速发展，图像Token化技术正成为连接视觉与语言模型的重要环节。本文提出了一种名为 FlowMo 的前沿方法，通过结合模式搜索与扩散模型，在提取图像局部模式的同时，实现对Token表示的细粒度重构。实验结果表明，FlowMo在多项视觉任务中均表现出显著的性能优势。citeRef1

1. 引言

图像Token化技术在图像描述、生成及跨模态检索中扮演着关键角色。然而，传统Token化方法在处理高维、复杂图像数据时，往往面临信息丢失与特征模糊等问题。近年来，基于扩散模型的方法逐渐受到关注，其通过逐步迭代优化能够恢复更多细节信息，但仍存在计算复杂度高和初始特征不足的问题。为此，本文提出FlowMo方法，通过在扩散模型之前引入模式搜索机制，自动发现图像中的关键模式，从而为后续的特征细化提供更优初始条件。citeRef2

2. FlowMo方法

2.1 模式搜索

模式搜索模块旨在从原始图像中自动识别出具有代表性的局部特征区域。该模块利用自适应阈值及局部统计方法，对图像中的纹理和结构进行分析，从而高效提取出初步的Token表示。此过程不仅提高了特征的鲁棒性，还为扩散细化模块提供了更具辨识力的初始信息。citeRef2

2.2 扩散模型细化

扩散模型在处理高维数据重构中表现出色，其基于随机过程的逐步迭代能够有效捕捉数据分布的细微变化。FlowMo利用扩散模型对模式搜索获得的初步Token进行多步迭代优化，通过引入自注意力机制，进一步加强局部信息与全局语境之间的交互，从而获得更精确的Token表示。citeRef1

2.