minigpt4/minigpt-v2批量推理/测试的代码

最新推荐文章于 2025-09-26 02:24:19 发布

原创

最新推荐文章于 2025-09-26 02:24:19 发布 · 1.2k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #gpt

文章讲述了如何在不使用gradio的情况下，对minigpt4和minigpt-v2进行批量测试的详细代码

最近很多人需要关于minigpt4/minigpt-v2批量推理/测试的代码，而且不需要gradio。我来贡献一下我写的，其实特别简单，就是把gradio那边改了就可以：

单张测试

# 前面不用改

# ========================================
#             Model Initialization
# ========================================

conv_dict = {
   
   'pretrain_vicuna0': CONV_VISION_Vicuna0,
             'pretrain_llama2': CONV_VISION_LLama2}

print('Initializing Chat')
args = parse_args()
cfg = Config(args)

model_config = cfg.model_cfg
model_config.device_8bit = args.gpu_id
model_cls = registry.get_model_class(model_config.arch)
model = model_cls.from_config(model_config).to('cuda:{}'.format(args.gpu_id))

CONV_VISION = conv_dict[model_config.model_type]

vis_processor_cfg = cfg.datasets_cfg.cc_sbu_align.vis_processor.train
vis_processor = registry.get_processor_class(vis_processor_cfg.name).from_config(vis_processor_cfg)

stop_words_ids = [[835], [2277, 29937]]
stop_words_ids = [torch.tensor(ids).to(device='cuda:{}'.format(args.gpu_id)) for