使用 InternVL-Chat-V1.5 提高多模态理解的效率-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_02015/article/details/144662066

使用 InternVL-Chat-V1.5 提高多模态理解的效率

InternVL-Chat-V1-5 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/InternVL-Chat-V1-5

在当今信息爆炸的时代，多模态理解成为了自然语言处理（NLP）领域的一个重要任务。它要求模型能够处理和理解来自不同模态的数据，如图像、视频和文本。然而，现有的许多开源模型在多模态理解方面与商业模型存在较大差距。为了填补这一空白，我们介绍了 InternVL-Chat-V1.5，一个开源的多模态大型语言模型（MLLM），旨在提高多模态理解的效率。

引言

多模态理解在许多实际应用中至关重要，如智能问答、内容审核、信息抽取等。然而，传统的单模态模型在处理多模态数据时往往效率低下，无法满足实际需求。因此，迫切需要一种能够高效处理多模态数据的解决方案。

当前挑战

现有的多模态理解方法面临着诸多挑战：

现有方法的局限性：许多现有的多模态模型要么侧重于图像处理，要么侧重于文本理解，缺乏对多种模态数据的全面处理能力。
效率低下的原因：在处理高分辨率图像和长文本时，模型的计算复杂度和内存消耗成倍增加，导致效率低下。

模型的优势

InternVL-Chat-V1.5 通过以下设计解决了上述挑战：

强大的视觉编码器：InternViT-6B 视觉基础模型经过持续学习，提高了视觉理解能力，并且可以轻松地与其他大型语言模型集成。
动态高分辨率处理：根据输入图像的宽高比和分辨率，动态地将图像划分为 1 到 40 个 448 × 448 像素的块，支持高达 4K 分辨率的输入。
高质量的双语数据集：精心收集并标注了涵盖常见场景和文档图像的双语数据集，显著提高了 OCR 和中文相关任务的性能。

实施步骤

要使用 InternVL-Chat-V1.5 提高多模态理解的效率，以下是一些关键步骤：

模型加载

根据您的硬件配置，可以选择不同的加载方式，如 16 位浮点数（bf16/fp16）加载、8 位量化加载等。

import torch
from transformers import AutoTokenizer, AutoModel

path = "OpenGVLab/InternVL-Chat-V1-5"
model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True).eval().cuda()

多 GPU 计算

如果使用多个 GPU，可以按以下方式分配模型层，以避免跨设备通信错误。

import math
import torch
from transformers import AutoTokenizer, AutoModel

def split_model(model_name):
    device_map = ...
    # 省略具体实现，根据模型名称分配设备

path = "OpenGVLab/InternVL-Chat-V1-5"
device_map = split_model('InternVL-Chat-V1-5')
model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True,
    device_map=device_map).eval()