揭秘！如何微调 DeepSeek-R1 推理模型，提升 AI 性能到极致

本文链接：https://blog.youkuaiyun.com/python1234_/article/details/145566582

DeepSeek 正在颠覆 AI 领域！通过推出一系列先进的推理模型，它挑战了 OpenAI 长期占据的主导地位。

最令人兴奋的是，这些革命性的模型完全免费使用，没有任何限制，任何人都可以随时访问并利用它们。是不是听起来像是科幻小说中的情节？但它已然成为现实！

在本教程中，我们将带你深入探讨如何在 Hugging Face 的 Medical Chain-of-Thought 数据集 上微调 DeepSeek-R1-Distill-Llama-8B 模型。

这个经过精心提炼的 DeepSeek-R1 模型，是通过对 DeepSeek-R1 生成的数据微调 Llama 3.1 8B 模型创建的，展示了与原始模型相似的卓越推理能力。这不仅是一次技术突破，也是你进一步掌握 AI 推理能力的最佳时机！

中国 AI 公司 DeepSeek AI 正式开源了其第一代推理模型 DeepSeek-R1 和 DeepSeek-R1-Zero，它们在数学、编码、逻辑等推理任务上的表现，已可与 OpenAI 的 GPT-4（o1）相媲美。

更值得关注的是，DeepSeek-R1-Zero 采用了一种全新的训练方法——大规模强化学习（RL），而非传统的 监督微调（SFT）。这种创新的训练方式使得模型能够独立探索思维链（CoT）推理，能够在面对复杂问题时，进行自我迭代优化输出。

然而，尽管 DeepSeek-R1-Zero 展示了强大的推理能力，但也带来了不容忽视的挑战。由于模型在强化学习中自主进行推理，它可能会产生重复的推理步骤、可读性较差，甚至出现语言混合等问题，这些都可能影响最终输出的清晰度和可用性。

因此，尽管其能力令人震惊，但在实际应用中，如何优化其推理流程，提升输出质量，仍然是一个值得关注的技术难题。

这场AI领域的创新革命正在悄然进行，DeepSeek 正在引领新一轮的推理技术变革。

除了需要大量计算能力和内存才能运行的大型语言模型外，DeepSeek 还引入了蒸馏模型。这些更小、更高效的模型已经证明，它们仍然可以实现卓越的推理性能。

这些模型从 1.5B 到 70B 参数不等，保留了强大的推理能力，DeepSeek-R1-Distill-Qwen-32B 在多个基准测试中都优于 OpenAI-o1-mini。

安装 unsloth Python 包。Unsloth 是一个开源框架，旨在使微调大型语言模型的速度提高 2LLMs 倍，内存效率更高。

%%capture
!pip install unsloth
!pip install --force-reinstall --no-cache-dir --no-deps git+https://github.com/unslothai/unsloth.git

使用我们从 Kaggle Secrets 中安全提取的 Hugging Face API 登录到 Hugging Face CLI。

在这里插入图片描述

使用您的API密钥登录Weights & Biases （wandb），并创建一个新项目来跟踪实验和微调进度。

import wandb

wb_token = user_secrets.get_secret("wandb")

wandb.login(key=wb_token)
run = wandb.init(
    project='Fine-tune-DeepSeek-R1-Distill-Llama-8B on Medical COT Dataset',     
    job_type="training",     
    anonymous="allow"
)

对于此项目，我们将加载 DeepSeek-R1-Distill-Llama-8B 的 Unsloth 版本。此外，我们将以 4 位量化加载模型，以优化内存使用和性能。
在这里插入图片描述

要为模型创建提示样式，我们将定义系统提示并包含用于问题和响应生成的占位符。该提示将指导模型逐步思考并提供合乎逻辑、准确的响应。

prompt_style = """Below is an instruction that describes a task, paired with an input that provides further context. 
Write a response that appropriately completes the request. 
Before answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.

### Instruction:
You are a medical expert with advanced knowledge in clinical reasoning, diagnostics, and treatment planning. 
Please answer the following medical question. 

### Question:
{}

### Response:
<think>{}"""

在此示例中，我们将向 prompt_style 提供一个医学问题，将其转换为标记，然后将标记传递给模型以生成响应。

question = "A 61-year-old woman with a long history of involuntary urine loss during activities like coughing or sneezing but no leakage at night undergoes a gynecological exam and Q-tip test. Based on these findings, what would cystometry most likely reveal about her residual volume and detrusor contractions?"


FastLanguageModel.for_inference(model) 
inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt").to("cuda")

outputs = model.generate(
    input_ids=inputs.input_ids,    
    attention_mask=inputs.attention_mask,    
    max_new_tokens=1200,    
    use_cache=True,
)
response = tokenizer.batch_decode(outputs)
print(response[0].split("### Response:")[1])

我们将通过为 complex chain of thought 列添加第三个占位符来略微更改处理数据集的提示样式。

train_prompt_style = """Below is an instruction that describes a task, paired with an input that provides further context. 
Write a response that appropriately completes the request. 
Before answering, think carefully about the question and create a step-by-step chain of thoughts to ensure a logical and accurate response.

### Instruction:
You are a medical expert with advanced knowledge in clinical reasoning, diagnostics, and treatment planning. 
Please answer the following medical question. 

### Question:
{}

### Response:
<think>
{}
</think>
{}"""

编写 Python 函数，该函数将在数据集中创建一个 “text” 列，该列由训练提示样式组成。在占位符中填写问题、文本链和答案。

在这里插入图片描述

我们将从 FreedomIntelligence/medical-o1-reasoning-SFT 数据集加载前 500 个样本，该数据集可在 Hugging Face 中心获得。之后，我们将使用 formatting_prompts_func 函数映射文本列。

from datasets import load_dataset
dataset = load_dataset("FreedomIntelligence/medical-o1-reasoning-SFT","en", split = "train[0:500]",trust_remote_code=True)
dataset = dataset.map(formatting_prompts_func, batched = True,)
dataset["text"][0]

使用目标模块，我们将通过将低排名的采用者添加到模型来设置模型。

model = FastLanguageModel.get_peft_model(
    model,    
    r=16,      
    target_modules=[     
        "q_proj",        
        "k_proj",        
        "v_proj",        
        "o_proj",        
        "gate_proj",        
        "up_proj",        
        "down_proj",    
    ],    
    lora_alpha=16,    
    lora_dropout=0,      
    bias="none",      
    use_gradient_checkpointing="unsloth",  # True or "unsloth" for very long context    
    random_state=3407,    
    use_rslora=False,      
    loftq_config=None,
)

接下来，我们将通过提供模型、分词器、数据集和其他重要的训练参数来设置训练参数和训练器，这些参数将优化我们的微调过程。
在这里插入图片描述

trainer_stats = trainer.train()

为了比较结果，我们将向微调模型提出与之前相同的问题，以查看发生了什么变化。

question = "A 61-year-old woman with a long history of involuntary urine loss during activities like coughing or sneezing but no leakage at night undergoes a gynecological exam and Q-tip test. Based on these findings, what would cystometry most likely reveal about her residual volume and detrusor contractions?"


FastLanguageModel.for_inference(model)  # Unsloth has 2x faster inference!
inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt").to("cuda")

outputs = model.generate(
    input_ids=inputs.input_ids,    
    attention_mask=inputs.attention_mask,    
    max_new_tokens=1200,    
    use_cache=True,
)
response = tokenizer.batch_decode(outputs)
print(response[0].split("### Response:")[1])

现在，让我们在本地保存 adopter、full model 和 tokenizer，以便我们可以在其他项目中使用它们。

new_model_local = "DeepSeek-R1-Medical-COT"
model.save_pretrained(new_model_local) 
tokenizer.save_pretrained(new_model_local)

model.save_pretrained_merged(new_model_local, tokenizer, save_method = "merged_16bit",)

AI 领域正在迅速变化。开源社区现在正在接管，挑战过去三年来统治 AI 领域的专有模型的主导地位。

开源大型语言模型 LLMs 变得越来越好、更快、更高效，这使得在较低的计算和内存资源上对其进行微调变得比以往任何时候都更容易。

DeepSeek无疑是2025开年AI圈的一匹黑马，在一众AI大模型中，DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破，各大科技巨头都火速出手，争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火，远不止于此。它是一场属于每个人的科技革命，一次打破界限的机会，一次让普通人也能逆袭契机。

DeepSeek的优点

read-normal-img

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势，目前懂得大模型技术方面的人才很稀缺，而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行，对于想要转行创业，提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

read-normal-img

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

read-normal-img

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

read-normal-img