文章核心总结与创新点
核心内容
本文聚焦多模态大语言模型(M-LLMs)在图像篡改检测(IMD)中的应用,提出了名为ForgerySleuth的框架和ForgeryAnalysis数据集。ForgerySleuth通过整合M-LLMs、轨迹编码器和视觉解码器,实现了高/中/低多维度线索融合,既能输出篡改区域分割掩码,又能生成带推理过程的文本解释。ForgeryAnalysis数据集通过Chain-of-Clues提示词生成,经专家修订后用于模型微调,再通过数据引擎扩展为大规模预训练数据集,显著提升了模型的泛化性、鲁棒性和可解释性。实验表明,该方法在像素级定位任务中比现有SOTA方法提升达24.7%,在推理分析评分中超越GPT-4o达35.8%。
创新点
- 首次探索M-LLMs在IMD中的深度应用:突破传统M-LLMs用于IMD时存在的幻觉、过度思考问题,将任务升级为“线索分析+推理+分割定位”的综合任务。
- 构建结构化数据集与数据引擎:提出ForgeryAnalysis数据集,采用Chain-of-Clues结构组织多维度篡改线索;设计数据引擎自动生成大规模预训练数据集,平衡数据质量与规模。
- 多模块融合框架:整合轨迹编码器捕捉低层级像素特征、M-LLMs识别高层级语义异常,搭配带注意力机制的视觉解码器,实现跨模态线索融合与精准分割。
订阅专栏 解锁全文
1332



被折叠的 条评论
为什么被折叠?



