使用InternVL、LMDeploy和GTE搭建多模态RAG系统

原创

已于 2024-10-24 18:17:23 修改 · 1.2k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #多模态大模型 #RAG #1024程序员节

于 2024-10-22 19:22:11 首次发布

如何将视觉大模型（VLM）与多模态RAG 结合起来，创建服装搜索和搭配推荐！本文展示了InternVL模型在分析服装图像和提取颜色、款式和类型等关键特征方面的强大功能。

InternVL2是国内首个在MMMU(多学科问答)上突破60的模型，堪称开源多模态大模型性能新标杆。

基于视觉大模型的功能，本文采用自定义匹配算法和 RAG 技术在我们的知识库中搜索与已识别特征互补的项目。该算法考虑了颜色兼容性和样式一致性等因素，为用户提供合适的建议。

使用VLM+ RAG（检索增强生成）的组合具有以下几个优点：

情境理解：VLM可以分析输入图像并理解情境，例如所描绘的对象、场景和活动。这允许在各个领域（OCR，道路交通，商品图片）提供更准确、更相关的建议或信息。
丰富的知识库：RAG 将 VLM的生成功能与检索组件相结合，该组件可以访问不同领域的大量信息。这意味着系统可以根据从历史事实到科学概念的广泛知识提供建议或见解。
定制：该方法允许轻松定制以满足各种应用程序中的特定用户需求或偏好。系统都可以进行调整以提供个性化的体验。

InternVL模型链接：

https://modelscope.cn/models/OpenGVLab/InternVL2-8B

LMDeploy代码链接：

https://github.com/InternLM/lmdeploy

GTE模型链接：

https://modelscope.cn/models/iic/nlp_gte_sentence-embedding_english-base

最佳实践参考链接：

https://cookbook.openai.com/examples/how_to_combine_gpt4o_with_rag_outfit_assistant

最佳实践

最佳实践流程图如下，本文主要通过多模态RAG搜索相似的衣服，并推荐最佳搭配，其中主要考察了多模态模型的图片描述生成（稳定生成JSON格式）以及多图对比的能力。

环境安装

首先，我们将安装必要的依赖项，然后导入库并编写一些稍后将使用的实用函数，ModelScope >= 1.6.0镜像已经预装LMDeploy


pip install openai tenacity tqdm numpy typing tiktoken concurrent fastapi-cli --quiet
git clone https://github.com/openai/openai-cookbook.git
cd openai-cookbook/examples

使用LMDeploy v0.5.0, 需要先设置chat template. 创建如下json文件chat_template.json.


{
    "model_name":"internlm2",
    "meta_instruction":"你是由上海人工智能实验室联合商汤科技开发的书生多模态大模型，英文名叫InternVL, 是一个有用无害的人工智能助手。",
    "stop_words":["<|im_start|>", "<|im_end|>"]
}

模型下载和运行


modelscope login --token YOUR_MODELSCOPE_SDK_TOKEN
modelscope download --model=OpenGVLab/InternVL2-8B --local_dir ./InternVL2-8B
LMDeploy serve api_server ./InternVL2-8B/ --model-name InternVL2-8B --server-port 23333 --chat-template chat_template.json

模型定义

import pandas as pd
import numpy as np
import json
import ast
import tiktoken
import concurrent
from openai import OpenAI
from tqdm import tqdm
from tenacity import retry, wait_random_exponential, stop_after_attempt
from IPython.display import Image, display, HTML
from typing import List

client = OpenAI(api_key='local client', base_url='http://0.0.0.0:23333/v1')

InternVL_MODEL = "InternVL2-8B"
EMBEDDING_MODEL = "iic/nlp_gte_sentence-embedding_english-base"