A COMPREHENSIVE SURVEY ON EMERGING TRENDS IN MULTIMODAL REASONING

本文是LLM系列文章，针对《EXPLORING THE REASONING ABILITIES OF MULTIMODAL LARGE LANGUAGE MODELS (MLLMS): A COMPREHENSIVE SURVEY ON EMERGING TRENDS IN MULTIMODAL REASONING》的翻译。

摘要

强大的人工智能（Strong AI）或具有抽象推理能力的通用人工智能（AGI）是下一代人工智能的目标。大语言模型（LLM）的最新进展，以及新兴的多模态大语言模型领域（MLLMs），在广泛的多模态任务和应用中展示了令人印象深刻的能力。特别是，各种MLLM，每个都有不同的模型体系结构、训练数据和训练阶段，已经在广泛的MLLM基准上进行了评估。这些研究在不同程度上揭示了MLLMs当前能力的不同方面。然而，MLLMs的推理能力尚未得到系统的研究。在这项调查中，我们全面回顾了现有的多模态推理评估协议，对MLLMs的前沿进行了分类和说明，介绍了MLLMs在推理密集型任务中应用的最新趋势，最后讨论了当前的实践和未来的方向。我们相信，我们的调查奠定了坚实的基础，并阐明了这一重要主题，即多模态推理。

1 引言

2 推理：定义和评估协议

3 多模态大语言模型

4 通过指令调整的多模态推理

5 应用

6 多模态推理基准结果分析

7 结论和未来方向

推理能力的概念在寻求强大的人工智能（Strong AI）或通用人工智能（AGI）的过程中至关重要，这是几十年来各个科学学科一直追求的目标。随着模型和评估基准的最新进展，关于当前LLM和MLLM中表现出的推理能力的讨论越来越多。在这项工作中，我们介绍了不同类型的推理，并讨论了用