微调 Llama 3.2：让 AI 更好地读取医学图像

原创最新推荐文章于 2026-08-22 14:43:20 发布 1.8k 阅读 AI写同款

AI程序猿人

6517粉丝561篇原创

关注

星海智算：Llama3.2 Vision使用教程 Llama 3.2-Vision 多模态大型语言模型 (LLM) 集合是一个包含 11B 和 90B 尺寸的指令微调图像推理生成模型的集合（文本 + 图像输入 / 文本输出）。Llama 3.2-Vision 指令微调模型针对视觉识别、图像推理、字幕生成和回答有关图像的一般问题进行了优化。在常见的行业基准测试中，这些模型的性能超过了众多现有的开源和闭源多模态模型。支持的语言：对于纯文本任务，官方支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。阅读详情

AI摘要

本文介绍了微调Meta的Llama 3.2 Vision模型来分析放射线图像的项目。使用“Radiology_mini”数据集和LoRA技术，让模型更精确专业。还给出技术实施步骤、重要性、技术栈等内容，最后分享了AI大模型学习资料。

您是否想知道人工智能模型如何学习理解医学图像？今天，我将带您完成一个令人兴奋的项目：微调 Meta 的 Llama 3.2 Vision 模型来分析放射线图像。如果您不是技术专家，也不要担心 - 我会用简单的术语来解释。

它是如何运作的？

想象一下，有一个人工智能助手可以查看 X 射线并提供详细的医学描述。这正是我们在这里构建的。我们正在采用 Meta 强大的 Llama 3.2 Vision 模型（一个 110 亿参数的 AI）并教它更好地理解医学图像。这就是有趣的地方：在训练之前，模型给出了医学图像的通用的、有些模糊的描述。但经过我们的微调过程后，它变得更加精确和专业，说话更像一个专业的放射技师。

这个过程就像通过例子来教学生一样。我们使用名为“Radiology_mini”的数据集，其中包含与专家描述配对的 X 射线图像。我们反复向模型展示这些内容，它学会了：

识别特定的医疗特征
使用正确的医学术语
像专业放射技师一样构建其响应

我们正在使用一种名为 LoRA（低秩适应）的巧妙技术，即使在单个 GPU 上也可以训练这个庞大的模型。将其视为教导模型更好地完成其工作，而无需重写其整个知识库。

这种转变是显着的。在训练之前，该模型给出了一般的临床观察结果，例如“这张射线照片似乎是上颌和下颌的全景…”训练之后，它提供了更有针对性和结构化的观察结果，例如“全景射线照片显示双侧动脉瘤性骨囊肿（ABC）” — 对于医疗专业人员来说更加精确和有用！

技术实施

让我们深入研究一下如何自己实现这一点。这是包含代码的分步指南：

1. 设置与安装

首先，安装所需的包：

pip install unsloth
export HF_TOKEN=xxxxxxxxxxxxx  # Your Hugging Face token

2. 完整代码

这是完整的实现，分为逻辑部分：

import os
from unsloth import FastVisionModel
import torch
from datasets import load_dataset
from transformers import TextStreamer
from unsloth import is_bf16_supported
from unsloth.trainer import UnslothVisionDataCollator
from trl import SFTTrainer, SFTConfig

# Load the model
model, tokenizer = FastVisionModel.from_pretrained(
    "unsloth/Llama-3.2-11B-Vision-Instruct",
    load_in_4bit = True,
    use_gradient_checkpointing = "unsloth",
)

# Configure fine-tuning parameters
model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers     = True,
    finetune_language_layers   = True,
    finetune_attention_modules = True,
    finetune_mlp_modules      = True,
    r = 16,
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    random_state = 3407,
    use_rslora = False,
    loftq_config = None,
)

# Load and prepare the dataset
dataset = load_dataset("unsloth/Radiology_mini", split = "train")
instruction = "You are an expert radiographer. Describe accurately what you see in this image."

def convert_to_conversation(sample):
    conversation = [
        { "role": "user",
          "content" : [
            {"type" : "text",  "text"  : instruction},
            {"type" : "image", "image" : sample["image"]} ]
        },
        { "role" : "assistant",
          "content" : [
            {"type" : "text",  "text"  : sample["caption"]} ]
        },
    ]
    return { "messages" : conversation }

converted_dataset = [convert_to_conversation(sample) for sample in dataset]

# Configure the trainer
FastVisionModel.for_training(model)
trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    data_collator = UnslothVisionDataCollator(model, tokenizer),
    train_dataset = converted_dataset,
    args = SFTConfig(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 5,
        max_steps = 30,
        learning_rate = 2e-4,
        fp16 = not is_bf16_supported(),
        bf16 = is_bf16_supported(),
        logging_steps = 1,
        optim = "adamw_8bit",
        weight_decay = 0.01,
        lr_scheduler_type = "linear",
        seed = 3407,
        output_dir = "outputs",
        report_to = "none",
        remove_unused_columns = False,
        dataset_text_field = "",
        dataset_kwargs = {"skip_prepare_dataset": True},
        dataset_num_proc = 4,
        max_seq_length = 2048,
    ),
)

# Train the model
trainer_stats = trainer.train()

# Test after training
print("\nAfter training:\n")
FastVisionModel.for_inference(model)
image = dataset[0]["image"]
instruction = "You are an expert radiographer. Describe accurately what you see in this image."

messages = [
    {"role": "user", "content": [
        {"type": "image"},
        {"type": "text", "text": instruction}
    ]}
]
input_text = tokenizer.apply_chat_template(messages, add_generation_prompt = True)
inputs = tokenizer(
    image,
    input_text,
    add_special_tokens = False,
    return_tensors = "pt",
).to("cuda")

text_streamer = TextStreamer(tokenizer, skip_prompt = True)
_ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 128,
                   use_cache = True, temperature = 1.5, min_p = 0.1)

# Save and upload the model
model.save_pretrained("lora_model")
tokenizer.save_pretrained("lora_model")

model.save_pretrained_merged("your-username/Llama-3.2-11B-Vision-Radiology-mini", tokenizer,)
model.push_to_hub_merged("your-username/Llama-3.2-11B-Vision-Radiology-mini", 
                        tokenizer, 
                        save_method = "merged_16bit", 
                        token = os.environ.get("HF_TOKEN"))