【DeepSeek微调实践】DeepSeek-R1大模型基于MS-Swift框架部署/推理/微调实践大全

最新推荐文章于 2025-04-01 22:23:28 发布
最新推荐文章于 2025-04-01 22:23:28 发布
阅读量1.9k 收藏 66
点赞数 72
分类专栏： # DeepSeek入门到精通(实战指南） 文章标签： swift 开发语言 人工智能 语言模型 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaobing259/article/details/146773701
版权

系列篇章💥

No.文章
01【DeepSeek应用实践】DeepSeek接入Word、WPS方法详解：无需代码，轻松实现智能办公助手功能
02【DeepSeek应用实践】通义灵码 + DeepSeek：AI 编程助手的实战指南
03【DeepSeek应用实践】Cline集成DeepSeek：开源AI编程助手，终端与Web开发的超强助力
04【DeepSeek开发入门】DeepSeek API 开发初体验
05【DeepSeek开发入门】DeepSeek API高级开发指南（推理与多轮对话机器人实践）
06【DeepSeek开发入门】Function Calling 函数功能应用实战指南
07【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：本地部署与API服务快速上手
08【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：Web聊天机器人部署指南
09【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：基于vLLM 搭建高性能推理服务器
10【DeepSeek部署实战】基于Ollama快速部署DeepSeek-R1系列模型实战指南（Linux）
11【DeepSeek部署实战】基于Ollama+Chatbox零成本部署DeepSeek-R1系列模型攻略（Windows）
12【DeepSeek开发实战】DeepSeek-R1-Distill-Qwen与LangChain的本地大模型应用开发指南
13【DeepSeek部署实战】一键本地推理，DeepSeek-R1 蒸馏模型 + llama.cpp 部署教程
14【DeepSeek应用实践】手把手教程：用 AnythingLLM + Ollama + DeepSeek-R1 搭建本地企业知识库
15【DeepSeek微调实践】DeepSeek-R1大模型基于MS-Swift框架部署/推理/微调实践大全

目录

一、引言

随着大语言模型（LLM）在自然语言处理（NLP）领域的广泛应用，如何高效部署、推理和微调这些模型成为了一个重要的研究方向。DeepSeek - R1 作为一款在推理能力方面表现突出的大型语言模型，凭借其独特的架构设计与先进的训练技术，在各类推理任务中脱颖而出。而 MS - Swift 框架则为大模型的高效部署提供了全面且强大的支持，两者结合，为开发者和研究人员提供了极具潜力的技术方案。本文将深入且细致地阐述基于 MS - Swift 框架的 DeepSeek - R1 模型在部署、推理和微调方面的实践操作，帮助大家快速掌握并熟练运用这一技术组合，从而在自然语言处理相关项目中充分发挥其优势。

二、MS-Swift 框架简介

MS - Swift 是一款专为大模型部署而精心打造的高效框架，具备出色的兼容性与丰富的功能特性。在模型类型支持上，无论是专注于文本处理的纯文本模型，还是融合文本、图像、音频等多种信息模态的多模态模型，亦或是擅长文本序列分类任务的序列分类模型，MS - Swift 均能为其提供适配的部署环境。另外在功能层面，MS - Swift 框架提供了基于 Gradio 的 Web UI。Gradio 作为开源的界面构建工具，能够以直观、便捷的方式搭建起用户与模型交互的可视化界面，即便非专业开发人员也能轻松上手，通过简单操作与模型进行对话、输入指令等。

三、DeepSeek-R1 模型简介

DeepSeek-R1 是一款专为提升推理能力而设计的大型语言模型。它在自然语言处理领域，尤其是复杂推理任务中表现出色，这得益于其独特的训练方式和优化策略。DeepSeek-R1 采用了强化学习技术，通过与环境的交互不断优化模型的推理能力，使其能够在面对复杂的逻辑推理和多步骤问题时，生成准确且连贯的答案。此外，为了进一步提升模型的实用性和效率，DeepSeek-R1 还结合了蒸馏技术，将大型模型的知识和能力迁移到更小的模型中，从而在保持推理性能的同时，显著降低了资源消耗。
DeepSeek-R1 提供了多种蒸馏版本，以满足不同用户的需求。具体信息如下：
在这里插入图片描述
DeepSeek-R1-Distill-Qwen-7B 是一款在资源受限环境下具有突出优势的蒸馏模型。它既不像一些小型模型那样对硬件资源要求极低但推理性能有限，也不像大型模型那样对硬件资源需求较高但能在复杂场景中展现卓越的推理能力。它以适中的参数规模，在保持较为出色的推理性能的同时，能很好地适应普通个人电脑、小型服务器等资源受限的设备，为这些设备提供了高效推理的解决方案，是平衡资源与性能的最佳选择，能够满足大多数对推理效率有一定要求且受限于硬件资源的应用场景。 而其他DeepSeek-R1-Distill-Qwen-14B 和 DeepSeek-R1-Distill-Qwen-32B等更大参数的蒸馏模型，在推理能力上表现更出色，更适合对性能要求较高的复杂场景。

四、DeepSeek-R1 部署实践

1. 环境准备

在部署 DeepSeek-R1 模型之前，需要准备合适的硬件和软件环境：
操作系统选用Ubuntu 22.04，其稳定性和丰富的软件资源，为AI开发提供了良好的基础。Python版本选择3.10，它在性能和兼容性上表现出色，广泛应用于各类AI项目。同时，安装PyTorch 2.1.2，作为深度学习的核心框架，PyTorch为模型的运行提供了高效的计算库和灵活的编程接口。此外，还需安装Cuda 11.8，它能充分发挥NVIDIA GPU的并行计算能力，加速模型的训练与推理过程。

2. 安装swift

# pip install git+https://github.com/modelscope/ms-swift.git

git clone https://github.com/modelscope/ms-swift.git
cd ms-swift
pip install -e .

下载完成如下：
在这里插入图片描述

3. vllm加速

vLLM 是一个高性能、灵活且易于部署的大语言模型推理框架，适用于需要高效处理大模型的场景。它通过优化的内存管理和高效的调度算法，显著提升了推理效率

# 临时指定清华源安装（推荐）
pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple
# 临时指定阿里源安装（备用）pip install vllm -i https://mirrors.aliyun.com/pypi/simple

安装完成如下：
在这里插入图片描述

4. 模型下载

DeepSeek-R1 的蒸馏版本可以通过 modelscope或者Hugging Face 下载。以下以 DeepSeek-R1-Distill-Qwen-7B 为例：
使用 modelscope 中的 snapshot_download 函数下载模型（提前安装modelscope ：pip install modelscope）。第一个参数为模型名称，参数 cache_dir 用于指定模型的下载路径。在 /root/autodl-tmp 路径下新建 download.ipynb 文件，并在其中输入以下内容：

from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-7B', cache_dir='/root/autodl-tmp', revision='master')

运行代码执行下载，如下：
在这里插入图片描述

5. 模型部署

使用 MS-Swift 框架，可以通过以下命令启动模型服务：

CUDA_VISIBLE_DEVICES=0 swift deploy \
    --model /root/autodl-tmp/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \
    --infer_backend vllm

模型部署启动成功如下：
在这里插入图片描述

服务启动后，可以通过 HTTP API 访问模型。

我们可以使用cli命令脚本调用模型服务，在终端中输入以下命令：

curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "DeepSeek-R1-Distill-Qwen-7B",
"messages": [{"role": "user", "content": "用最精炼的语言介绍一下AI大模型"}],
"temperature": 0
}'

模型API返回如下：

{"model":"DeepSeek-R1-Distill-Qwen-7B","choices":[{"index":0,"message":{"role":"assistant","content":"<think>\n好的，我现在要介绍AI大模型。首先，我需要明确什么是AI大模型。AI大模型通常指的是像GPT、BERT这样的大型预训练模型，它们通过大量数据训练，能够处理复杂的自然语言任务。\n\n接下来，我应该解释这些模型的特点，比如它们的规模大、参数多，能够处理多种语言和任务。然后，说明它们的应用领域，比如文本生成、信息检索、对话系统等。\n\n最后，要提到这些模型对社会的积极影响，比如推动创新、提高效率，同时也要注意潜在的挑战，如隐私和伦理问题。\n\n现在，把这些点组织成一个连贯的介绍，语言要简洁明了，适合快速理解。\n</think>\n\nAI大模型是指经过大规模预训练的高级人工智能模型，具备处理复杂语言任务的能力，广泛应用于文本生成、信息检索和对话系统等领域，推动创新和效率提升，同时需注意隐私和伦理挑战。","tool_calls":null},"finish_reason":"stop","logprobs":null}],"usage":{"prompt_tokens":14,"completion_tokens":194,"total_tokens":208},"id":"61a7a02a832d4dd5ba6dd185a9fa417d","object":"chat.completion","created":1741687627}

部署推理资源消耗情况如下（28G左右）：
在这里插入图片描述

五、DeepSeek-R1 推理实践

推理是 DeepSeek-R1 的核心应用场景之一。以下是一个基于 MS-Swift 框架的推理代码示例：

CUDA_VISIBLE_DEVICES=0 swift infer \
    --model /root/autodl-tmp/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \
    --stream true \
    --infer_backend vllm \
    --max_new_tokens 2048

脚本执行成功，推理效果如下：
在这里插入图片描述

六、DeepSeek-R1 微调实践

微调是提升 DeepSeek-R1 模型性能的重要手段。以下是一个基于 MS-Swift 框架的微调步骤：

1、数据集准备

为对DeepSeek-R1-Distill-Qwen-7B模型开展微调，找了一份有趣的数据集（https://github.com/KMnO4-zx/huanhuan-chat），内容如下：
在这里插入图片描述

2、模型微调训练

以下是一个基于 MS-Swift 框架的lora微调代码示例：

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model '/root/autodl-tmp/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B' \
    --train_type lora \
    --dataset '/root/autodl-tmp/datasets/huanhuan.json' \
    --num_train_epochs 1 \
    --per_device_train_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --gradient_accumulation_steps 16 \
    --eval_steps 100 \
    --save_steps 100 \
    --save_total_limit 2 \
--logging_steps 5

参数说明：
–model：指定预训练模型的名称或路径
–train_type lora ：指定训练类型为 LoRA（Low-Rank Adaptation），一种高效的微调方法
–dataset ：指定训练数据集的名称或路径
–num_train_epochs：指定训练的总轮数（epoch），这里设置为 1 轮
–per_device_train_batch_size：指定每个设备（GPU）的训练批次大小，这里设置为 1
–learning_rate：设置学习率，这里为 1e-4
–lora_rank：设置 LoRA 的秩（rank），用于控制 LoRA 层的参数数量，这里设置为 8
–lora_alpha：设置 LoRA 的缩放因子 alpha，用于控制 LoRA 层的缩放比例，这里设置为 32
–gradient_accumulation_steps：设置梯度累积步数，用于在小批次情况下模拟大批次训练，这里设置为 16 步
–eval_steps：每隔多少步进行一次评估，这里设置为每 100 步评估一次
–save_steps：每隔多少步保存一次模型，这里设置为每 100 步保存一次
–save_total_limit：保存的模型总数限制，这里最多保存 2 个模型
–logging_steps：每隔多少步记录一次日志，这里设置为每 5 步记录一次
–model_author swift：指定模型作者，这里为 “swift”
–model_name swift-robot：指定保存的模型名称，这里为 “swift-robot”
微调训练结果如下：
在这里插入图片描述

微调后生成的新的checkpoint权重文件如下：
/root/autodl-tmp/output/DeepSeek-R1-Distill-Qwen-7B/v0-20250312-093007/checkpoint-230
在微调过程中，建议使用结构化的提示数据，并通过拒绝采样生成更多训练样本。

3、推理训练后权重文件

直接加载微调后的权重文件，快速验证微调效果是否生效。

CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --adapters /root/autodl-tmp/output/DeepSeek-R1-Distill-Qwen-7B/v0-20250312-093007/checkpoint-230 \
    --stream true \
    --temperature 0 \
--max_new_tokens 2048

微调效果：
在这里插入图片描述

微调训练后的权重文件实际上既包含了主模型的通用知识，也包含了微调后的特定知识，可以通过上面的方式快速查看微调效果。

4、LoRA合并&推理训练后的权重文件

不仅加载微调后的权重文件，还通过 LoRA 合并进一步优化推理结果。

# merge-lora and use vLLM for inference acceleration
CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --adapters /root/autodl-tmp/output/DeepSeek-R1-Distill-Qwen-7B/v0-20250312-093007/checkpoint-230 \
    --stream true \
    --merge_lora true \
    --infer_backend vllm \
    --max_model_len 8192 \
    --temperature 0 \
--max_new_tokens 2048

即可得到新的模型权重文件：
/root/autodl-tmp/output/DeepSeek-R1-Distill-Qwen-7B/v0-20250312-093007/checkpoint-230-merged

七、性能优化与评估

  1. deepseek硬件优化
  • 对于非常小的馏模型（如 1.5B），只需要GTX 1650、RTX 3060
    • 对于较小的蒸馏模型（如 7B），单卡 V100 或 A100 即可满足需求。
    • 对于较大的模型（如 14B），推荐使用多卡并行。

  1. 推理性能优化

    • 使用 MS-Swift 框架的 vllm 模式可以显著提升推理速度。
    • 在推理时，可以通过调整 max_new_tokens 和 temperature 参数来优化生成结果。

  2. 微调性能优化

    • 在微调时，建议增加 epoch 次数或扩充数据集。
    • 如果显存不足，可以减小 batch_size 或增大 gradient_accumulation_steps。

  3. 性能评估

    • 使用标准的推理基准测试（如 AIME 2024）评估模型性能。
    • 比较不同蒸馏版本的性能，选择最适合的模型。

八、总结与展望

本文详细介绍了 DeepSeek-R1 大模型基于 MS-Swift 框架的部署、推理和微调实践。通过 MS-Swift 框架，DeepSeek-R1 模型可以在不同硬件环境下高效运行，并通过微调进一步提升性能。未来，随着硬件技术的进步和框架的优化，DeepSeek-R1 将在更多领域发挥重要作用。

在这里插入图片描述

🎯🔖更多专栏系列文章：AI大模型提示工程完全指南、AI大模型探索之路（零基础入门）、AI大模型预训练微调进阶、AI大模型开源精选实践、AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑

😎 作者介绍：资深程序老猿，从业10年+、互联网系统架构师，目前专注于AIGC的探索（优快云博客之星|AIGC领域优质创作者）
📖专属社群：欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码，回复‘入群’ 即刻上车，获取邀请链接。
💘领取三大专属福利：1️⃣免费赠送AI+编程📚500本，2️⃣AI技术教程副业资料1套，3️⃣DeepSeek资料教程1套🔥（限前500人）
如果文章内容对您有所触动，别忘了点赞、⭐关注，收藏！加入我们，一起携手同行AI的探索之旅，开启智能时代的大门！

基于 DeepSeek-R1 模型微调（SFT）技术详解
zhangjiaofa的专栏
02-06 2339
本文的主要目的是详细介绍基于 deepseek-ai/DeepSeek-R1 模型的微调（SFT）技术。DeepSeek-R1 是一款具有强大性能和潜力的预训练语言模型，通过对其进行微调，我们可以将其应用于更广泛的实际场景中。在接下来的章节中，我们将首先介绍 DeepSeek-R1 模型的基础信息，包括其架构、预训练数据和特点。然后，深入探讨微调（SFT）的基础概念和技术原理，包括损失函数设计、梯度计算和优化器选择等。接着，详细阐述数据准备、微调环境搭建、微调过程实现以及模型评估等步骤。
DeepSeek掘金——DeepSeek-R1微调指南
03-03 3388
在这篇博文中，我们将逐步指导你在消费级 GPU 上使用 LoRA（低秩自适应）和 Unsloth 对 DeepSeek-R1 进行微调。微调像 DeepSeek-R1 这样的大型 AI 模型可能需要大量资源，但使用正确的工具，可以在消费级硬件上进行有效训练。让我们探索如何使用 LoRA（低秩自适应）和 Unsloth 优化 DeepSeek-R1 微调，从而实现更快、更具成本效益的训练。DeepSeek 的最新 R1 模型正在设定推理性能的新基准，可与专有模型相媲美，同时保持开源。
【大模型实战】利用ms-swift微调框架对QwQ-32B推理模型进行微调
源泉的小广场
03-13 1403
大模型、大模型微调、大模型微调框架、lora微调、推理模型微调、强化推理、qwq-32b、ms-swift、微调框架
V100 上用 ms-swift 框架部署 DeepSeek-R1-Distill-Qwen-7B 超全攻略
MnivL的博客
02-06 1934
本文详细介绍如何运用 ms - swift 框架在 V100 设备上部署 DeepSeek - R1 - Distill - Qwen - 7B 模型。开篇明确所需环境，如 x86_64 架构、ubuntu 22.04 或 centos 7 系统、V100 GPU 等。接着依次阐述依赖安装、模型下载步骤，还展示推理测试、部署测试及并发测试过程。
V100 上用 ms-swift 框架部署 DeepSeek-R1-Distill-Qwen-14B 超全攻略
MnivL的博客
02-07 2048
本文详细介绍如何运用 ms-swift 框架在 V100 设备上部署 DeepSeek-R1-Distill-Qwen-14B 模型。开篇明确所需环境，如 x86_64 架构、ubuntu 22.04 或 centos 7 系统、V100 GPU 等。接着依次阐述依赖安装、模型下载步骤，还展示推理测试、部署测试及并发测试过程。
一步步将DeepSeek R1微调成一个DeepDoctor（资深医生）
2401_85773741的博客
02-17 892
DeepSeek-R1 和 DeepSeek-R1-Zero 在数学、编程和逻辑推理任务上与 OpenAI 的 o1 性能相当。
【大模型系列篇】大模型微调工具 LLama-Factory、Unsloth、ms-SWIFT
木亦汐丫
02-26 1716
入手学习大模型微调，首先推荐功能层次封装层次较高的微调三剑客：Unsloth、 Llama-Factory和ms-SWIFT。除此之外，也可以借助更加底层的库，如peft、 LoRA、 transformer等实现高效微调。
2025 最新 DeepSeek-R1-Distill-Qwen-14B vLLM 部署全攻略：从环境搭建到性能测试(V100-32GB * 2)
MnivL的博客
02-06 9762
本文详细介绍了在 2025 年进行 DeepSeek-R1-Distill-Qwen-14B 模型基于 vLLM 的部署过程。从环境准备开始，包括硬件与软件环境要求，如特定的操作系统、GPU 型号、Python 版本、CUDA 及 PyTorch 版本等，指导读者完成基础环境搭建。接着深入依赖安装环节，细致讲解了使用 conda 创建虚拟环境、pip 换源加速下载依赖包以及安装 CUDA 和 PyTorch 的要点，并提供检查安装是否成功的方法。
10分钟打造专属AI助手：用ms-swift实现自我认知微调
淘小欣的博客
03-18 1141
简单来说，自我认知微调就是让AI模型知道自己的身份。比如，当你问它“你是谁？”或者“你由谁开发？”时，它能准确回答：“我是某某团队打造的某某助手。”这就像给AI一个“身份证”，让它更有归属感和个性化。这种微调但关键在于数据：需要用到专门的自我认知数据集。为了避免模型在学习身份时“忘掉”之前的知识，通常还会混入一些通用或垂直领域的数据，保持它的“聪明才智”。通过ms-swift，我们用10分钟就让一个大模型拥有了自我认知能力。它不仅能回答问题，还能骄傲地说出自己的名字和“出身”。
智慧城市方案：基于DeepSeek-R1的交通流量预测模型微调实践.pdf
02-15
该文档【智慧城市方案：基于DeepSeek-R1的交通流量预测模型微调实践】共计 27 页，文档内容完整、条理清晰。文档内所有文字、图表、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。
2025 DeepSeek：本地微调DeepSeek-R1-8b模型保姆级教程.pdf
03-13
本文档提供了深入浅出的指导，帮助读者了解如何在本地环境中微调名为DeepSeek-R1-8b的预训练大模型。文档首先介绍了自身的背景和服务器的准备工作，然后详细说明了模型文件和训练数据集的下载步骤，并指导如何设置...
【AI 大模型】DeepSeek 大模型简介 ( DeepSeek-R1 和 DeepSeek-V3 大模型 | Python 调用 DeepSeek API | 本地部署 DeepSeek )
python12345_的博客
02-20 1704
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势，目前懂得大模型技术方面的人才很稀缺，而DeepSeek就是一个突破口。大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
源码分析之Leaflet中control模块Zoom类实现原理
Jinuss的博客
04-01 171
源码分析之Leaflet中control模块Zoom类实现原理
移动端六大语言速记：第2部分 - 控制结构
Ya-Jun 的博客
03-30 328
语法风格Java和Dart语法相对传统，需要分号结尾Kotlin和Swift语法更现代简洁，省略了很多冗余符号Python使用缩进表示代码块，语法最为简洁ArkTS语法接近TypeScript，结合了静态类型和现代语法特性类型系统Java、Kotlin、Dart、ArkTS和Swift都是静态类型语言Python是动态类型语言，不需要显式声明类型Kotlin、Dart、ArkTS和Swift都支持类型推断，减少了代码冗余空值处理。
第2.6节 iOS生成全量和增量报告
最新发布
测试开发探秘
04-01 469
iOS生成全量和增量报告
Swift LeetCode 246 题解：中心对称数（Strobogrammatic Number）
网罗天下方法，方便你我开发！！！
04-01 543
在日常开发中，我们经常遇到一些关于对称性的判断，比如字符串回文、镜像翻转等。而“中心对称数”（Strobogrammatic Number）这个问题，本质上是考察一个数字在旋转 180 度后是否还是原来的样子。这个问题看似简单，但如果不理解它的本质，很容易走弯路。本文不仅会分析解法，还会聊聊它的实际应用场景，以及在解决这个问题时可能会遇到的坑，帮助你更深入地理解这个问题。
移动端六大语言速记：第1部分 - 基础语法与控制结构
Ya-Jun 的博客
03-30 265
本文对比了Java、Kotlin、Flutter(Dart)、Python、ArkTS和Swift这六种移动端开发语言的基础语法，包括数据类型、变量与常量、运算符和特殊操作符。数据类型：各语言都支持基本的整数、浮点数、字符串和布尔类型，但在命名和特殊类型上有所差异。变量与常量：Java和Dart使用类型在前的声明方式，而Kotlin、ArkTS和Swift使用类型在后的声明方式；Python则无需显式声明类型。运算符。
Swift 继承
csbysj2020
04-01 225
Swift 中的继承是一种强大的面向对象编程特性，它允许开发者创建新的类，继承现有类的属性和方法。通过继承，可以避免重复代码，提高代码的可重用性和可维护性。本文介绍了 Swift 中继承的基本概念、语法、多态性以及注意事项，希望对开发者有所帮助。
移动端六大语言速记：第5部分 - 面向对象编程（OOP）
Ya-Jun 的博客
03-31 148
范型支持Java、Kotlin、Swift提供了最完整的范型支持，包括类型约束和型变Dart和ArkTS的范型支持相对基础，主要用于集合类型Python通过typing模块提供了类型提示功能注解机制Java和Kotlin提供了最强大的注解系统，支持元注解和运行时反射Dart和Python的注解/装饰器较为简单但实用ArkTS和Swift的注解主要用于UI组件和属性包装使用场景范型主要用于创建类型安全的容器类和通用算法注解主要用于元数据标记、编译时检查和运行时行为修改。
swift微调deepseek
03-17
### 使用 Swift 对 DeepSeek 大语言模型进行微调 目前关于使用 Swift 编程语言直接对 DeepSeek 的大语言模型（如 DeepSeek R1）进行微调的具体方法尚未有官方支持或广泛讨论[^1]。然而，可以基于现有的 Python 工具链以及跨平台框架来实现这一目标。 #### 跨平台工具的支持 尽管主流的大规模语言模型微调流程通常依赖于 Python 生态中的库（例如 Hugging Face Transformers 和 PyTorch），但可以通过以下方式间接利用 Swift 进行操作： 1. **借助 TensorFlow 或 ONNX 实现桥接** 如果希望在 Swift 中处理深度学习任务，TensorFlow 提供了一个较为成熟的 Swift API 支持环境。通过将预训练的 DeepSeek 模型导出为 ONNX 格式并加载到 TensorFlow-Swift 环境中，可以在一定程度上完成参数调整的任务[^2]。 2. **远程服务化接口设计** 利用 vllm serve 命令启动的服务端口作为中间层，允许前端应用以 RESTful API 形式发送请求给后端运行的 GPU 加速推理引擎。此时虽然主要逻辑仍由 Python 执行，但是客户端部分完全可以采用 Swift 开发移动应用程序或者桌面软件界面。 #### 示例代码片段展示 以下是假设场景下的一段伪代码表示如何可能设置这样的工作流: ```swift import Foundation // Assume we have a library that can interact with the model server. let client = ModelClient(baseURL: URL(string:"http://localhost:8000")!) func fineTuneModel(dataSetPath:String){ do { let response = try client.post(path: "/finetune", body:["dataset": dataSetPath]) print(response.text) } catch(let error){ print(error.localizedDescription) } } ``` 此脚本仅用于说明目的，在实际开发过程中还需要考虑更多细节比如错误处理机制、并发控制等方面的内容。
评论 39
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寻道AI小兵

🐳 感谢你的巨浪支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值