基于AX650N/AX630C部署多模态大模型InternVL2-1B

本文来自社区投稿，作者：圈圈虫

原文链接：https://zhuanlan.zhihu.com/p/4118849355

InternVL2 是由上海人工智能实验室 OpenGVLab 发布的一款多模态大模型，中文名称为“书生·万象”。该模型在多学科问答（MMMU）等任务上表现出色，并且具备处理多种模态数据的能力。

本文将基于 InternVL2 家族中最小的 InternVL2-1B 模型来介绍其技术特点。同时也将分享基于 爱芯元智 的 AX650N、AX630C 两款端侧 AI 芯片适配 InternVL2-1B 的基本操作方法，向业界对端侧多模态大模型部署的开发者提供一种新的思路，促进社区对端侧多模态大模型的探索。

InternVL2-1B

GitHub 地址：

https://github.com/OpenGVLab/InternVL

官方博客：

https://internvl.github.io/blog/2024-07-02-InternVL-2.0

在线 DEMO：

https://internvl.opengvlab.com

技术特性

1. 多模态处理能力：与更大规模的版本一样，InternVL2-1B 支持图像和文本数据的联合处理，旨在理解和生成跨模态的内容

2. 轻量化设计：1B 参数规模意味着相对较小的模型尺寸，这使得 InternVL2-1B 更适合部署在资源受限的环境中，如移动设备或边缘计算场景中。尽管参数较少，通过精心设计，它仍能保持良好的性能

3. 渐进式对齐训练策略：采用从小到大、从粗到精的方式进行训练，这样可以利用更少的计算资源达到较高的效果，同时也促进了模型的知识迁移能力

4. 高效的架构设计：为了在有限的参数下实现最佳性能，InternVL2-1B 可能采用了特别优化的网络结构或注意力机制，确保即使在较低参数量的情况下也能有效地捕捉复杂的视觉语言关联性

5. 支持多种下游任务：尽管是较小型号，InternVL2-1B 应该仍然能够执行一系列基本的视觉-语言任务，比如图像描述生成、视觉问答等，为用户提供了一定程度的功能多样性

6. 开放源代码与模型权重：如果遵循 OpenGVLab 的一贯做法，那么 InternVL2-1B