本地搭建小型 DeepSeek 并进行微调

最新推荐文章于 2025-06-03 15:31:02 发布
最新推荐文章于 2025-06-03 15:31:02 发布
阅读量530 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大模型 知识文档 文章标签： 智能硬件 人工智能 大数据 大模型 deepseek
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a1ccwt/article/details/145734534

本文将指导您在本地搭建一个小型的 DeepSeek 模型，并进行微调，以处理您的特定数据。

1. 环境准备

  • Python 3.7 或更高版本

  • PyTorch 1.8 或更高版本

  • CUDA (可选，用于 GPU 加速)

  • Git

2. 克隆 DeepSeek 仓库

bash

复制

git clone https://github.com/deepseek-ai/deepseek.git
cd deepseek

3. 安装依赖

bash

复制

pip install -r requirements.txt

4. 下载预训练模型

DeepSeek 提供了多种预训练模型，您可以根据需要选择合适的模型。例如，下载一个中文预训练模型：

bash

复制

wget https://deepseek.oss-cn-beijing.aliyuncs.com/models/chinese_base.zip
unzip chinese_base.zip

5. 准备数据

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【DeepSeek微调实践】DeepSeek-R1大模型基于MS-Swift框架部署/推理/微调实践大全
寻道AI，探索AI无限可能！
03-31 7751
MS - Swift 是一款专为大模型部署而精心打造的高效框架，具备出色的兼容性与丰富的功能特性。在模型类型支持上，无论是专注于文本处理的纯文本模型，还是融合文本、图像、音频等多种信息模态的多模态模型，亦或是擅长文本序列分类任务的序列分类模型，MS - Swift 均能为其提供适配的部署环境。另外在功能层面，MS - Swift 框架提供了基于 Gradio 的 Web UI。
deepseek 本地实现微调代码详细教程
02-11 2196
deepseek 本地实现微调代码详细教程
DeepSeek-R1本地微调指南（unsloth）
2301_77617206的博客
03-31 700
可能会遇到transformers版本问题，如果遇到请更新版本到4.50.1。本文下载的是：DeepSeek-R1-Distill-Llama-8B。（3）打开对应的jupyter文件，执行即可。如果是在远程服务器上配置，请按照一下配置。（3）更新transformers。（5）Wandb（可以不安装）（1）新建一个文件夹，如DS。（2）从魔搭上下载预训练模型。（2）添加jupyter环境。（4）jupyter文件内容。参考官方文档完成配置即可。（1）打开jupyter。
用PyTorch从零开始编写DeepSeek-V2
最新发布
aini_lovee的博客
06-03 497
实例化模型# 定义损失函数# 定义优化器​。
deepseek 本地化部署和小模型微调
热门推荐
陈锐的技术笔记
02-03 2万+
因为本人gpu卡的机器系统是centos 7, 直接使用ollama会报所以ollama使用镜像方式进行部署， 拉取镜像ollama/ollama启动命令查看ollama 是否启动成功，Ollama 没有用户界面，在后台运行。打开浏览器，输入 “http://xx:11434/”，显示 “Ollama is running”。deepseek-r1 目前有7b, 32b, 70b, 671b 多个版本
DeepSeek LoRA微调+Ollama，微调模型本地部署终极指南！
HUANGXIN9898的博客
04-18 1572
最近deepseek非常火爆，在学习对deepseek进行微调训练后，尝试把模型部署到本地。以下记录下怎么保存模型以及怎么载入Ollama的过程。
DeepSeek的本地化部署教程（Windows+Mac）
2301_81888214的博客
02-04 2735
DeepSeek-R1是基于R1-Zero的增强版本，采用了修改后的训练工作流程开发。R1-Zero是通过纯强化学习训练的，而R1则在R1-Zero的基础上，利用少量人工标注的高质量数据进行冷启动微调，然后再进行纯强化学习训练‌34。
保姆级教程~本地微调DeepSeek-R1-8b模型
2401_85375151的博客
02-24 2830
利用特定领域的数据集对已预训练的大模型进行进一步训练的过程。它旨在优化模型在特定任务上的性能，使模型能够更好地适应和完成特定领域的任务。其中最重要的是超参数（如学习率、批次大小和训练轮次）调整优化。转成大白话就是调整大模型中一些参数的值，使其在特定数据集上表现更优秀。
如何通过微调Qwen/DeepSeek模型实现以思维链生成方式完成文本分类任务
羊城迷鹿的博客
04-14 1389
目标：让大模型总结出每个分类类别的典型特征和识别规律工作原理：将同一类别的所有样本聚合，提供给大模型，让它分析这些样本的共性输出：每个类别的判别规则和特征描述这个阶段实际上是利用大模型来执行知识归纳任务，让它从大量同类数据中总结规律，相当于让大模型自己提炼出区分不同类别的关键特征。第一阶段的目标是利用大模型对每一类别的原始数据进行分析，总结出这个类别的规律特征。数据准备加载原始分类数据及标签基于原始数据生成SFT（监督微调）数据第一阶段：类别规律总结对每个类别的所有样本进行合并。
基于DeepSeek为中小型企业（10-100人）搭建知识库
我是赛博AI Lewis
03-05 1146
显存需求32GB，适合技术文档生成、多语言翻译等任务，支持4-bit量化（显存降至8GB）。：通过阿里云PAI或腾讯云HAI部署轻量版模型（7B），应对突发流量（如促销期客服咨询高峰）。：使用Dify平台实现文档上传、向量化（bge-m3模型）与RAG检索，支持多知识库权限隔离。：显存需求64GB，需双卡并行，适合金融风险预测、法律条款分析，通过vLLM框架优化吞吐量。：选择中等参数模型（14B/32B），通过量化技术降低显存占用。：通过LoRA微调模型，注入行业术语（如医疗、法律专有名词）。
了解Deepseek（本地部署及可视化）
weixin_53318497的博客
02-14 1032
了解新技术的一天。
想微调特定领域的 DeepSeek，数据集究竟要怎么搞？
qq_41314882的博客
03-11 1512
上一期关于大模型微调的教程发出后，大家问的最多的就是关于微调数据集的问题：总结了一下，常见的问题大概有这么几类：为什么我的微调效果不好？跟数据集有关系吗？数据集的格式是固定的吗？我要弄成什么样子？数据集还分很多种类？测试集、训练集、验证集的区别是啥？我想要微调特定领域的模型？去哪获取这个领域公开的数据集？手动整理数据集太累了，有没有什么快速标注数据集的方法？数据集可以用 AI 生成吗？怎么把领域的文献转成可供模型微调的数据集？：了解常见的微调任务类型，根据特定任务选择适合的数据集；
DeepSeek大模型微调实战：保姆级全流程指南
2401_84495872的博客
02-20 6415
第一步 Python环境准备具体请见文件 requirements.txt 上方下载↑↑↑第二步 构造数据集本文数据使用.jsonl文件。数据为拟造，仅供试验1.每一行数据为一个json对象，包含一个问题和一个答案2.初学者请注意数据的内容并没有格式要求，只要在后续步骤中能够处理成训练数据即可第三步，数据处理1.加载数据集2.编写数据格式化逻辑下图的逻辑是将问题部分作为输入，答案部分作为标签。
deepseek本地部署后做微调训练实现智能对话的一些建议
慧香一格的专栏
02-17 1301
从模型仓库（如Hugging Face或魔搭社区）下载预训练模型。在本地部署大模型后，进行微调和训练以实现智能对话，通常需要按照以下步骤操作。通过以上步骤，你可以实现本地部署后的模型微调和训练，最终打造一个智能对话系统。在微调大模型之前，需要准备适合的训练数据集。
从DeepSeek到Manus：本地LLM微调与联网开发进阶之路
DataLaneYoker
03-11 780
从 DeepSeek 到 Manus，我们见证了本地 LLM 微调 + 联网开发技术的不断演进与融合。DeepSeek 以其强大的语言能力和丰富的知识储备，为智能应用奠定了坚实的基础；Manus 则凭借独特的多智能体架构和高效的任务执行能力，拓展了 AI 的应用边界。通过本地 LLM 微调，我们能够让模型更好地适应特定任务和领域，提高其性能和准确性；而联网开发则赋予了模型实时获取信息和与外部服务交互的能力，使其更加智能和灵活。
deepseek部署微调本文参考了b站 一个up主并做了一些补充
weixin_46146585的博客
03-14 1439
上述两种方法选一种即可，最后即可完成，直接在聊天窗口进行与模型对话。
从DeepSeek到Manus：如何实现本地LLM微调+联网开发？
ytt0523_com的博客
03-11 1184
当前，以Claude、DeepSeek、GPT等为代表的通用大语言模型展现出惊人的知识覆盖和任务泛化能力，但在垂直行业场景中常常面临“博而不精”的困境——医疗诊断时可能混淆专业术语、法律咨询时缺乏最新司法解释援引、金融分析时难以把握行业特有指标。这种通用性与专业性的矛盾，催生了“模型蒸馏-领域适配-任务聚焦”的三级进化路径：通过知识蒸馏压缩模型体积，依托行业语料进行领域微调（Domain Adaptation），最终基于具体业务需求实现任务专属优化（Task-Specific Tuning）。本次实验选用D
基于windows使用llamafactory结合ollama进行deepseek模型微调详细教程
03-09
<think>好的，用户想要了解在Windows系统下，如何使用Llamafactory结合Ollama对DeepSeek模型进行微调的详细教程。我需要先理清楚这两个工具的作用以及它们如何协同工作。 首先，Ollama是一个用于本地运行大型语言模型的工具，支持多种模型，用户可以通过命令行轻松管理模型。而Llamafactory可能是一个用于微调模型的框架，用户可能指的是LLaMA-Factory，这是一个流行的微调框架，支持多种模型和数据集。不过用户可能拼写成了Llamafactory，我需要确认这一点。 接下来，DeepSeek模型是深度求索公司开发的模型，可能有多个版本，如DeepSeek-Math或DeepSeek-Coder。用户需要微调这些模型，可能需要先确认模型格式是否与Ollama和Llamafactory兼容，比如是否为Hugging Face格式的模型。 然后，用户的需求是在Windows环境下进行微调，这涉及到环境配置、依赖安装、数据准备、微调脚本编写等步骤。需要注意的是，Windows在深度学习任务中可能不如Linux方便，特别是GPU支持方面，可能需要安装CUDA、PyTorch等工具。 可能的步骤包括： 1. 安装Ollama并下载DeepSeek模型。 2. 配置Python环境，安装必要的库如Llamafactory（假设是LLaMA-Factory）、PyTorch、Transformers等。 3. 准备微调数据集，可能需要转换为特定的格式，如JSON。 4. 使用Llamafactory提供的脚本或配置进行微调。 5. 将微调后的模型转换为Ollama支持的格式并部署。 需要验证的问题： - Ollama是否支持直接加载Hugging Face格式的模型，还是需要转换格式？ - LLaMA-Factory是否支持DeepSeek模型的微调？可能需要查看其官方文档。 - Windows下的CUDA安装和GPU驱动是否会影响微调过程？ - 是否需要WSL（Windows Subsystem for Linux）来简化环境配置？ 可能的挑战： - 模型格式转换：如果Ollama不支持直接使用微调后的模型，可能需要转换为GGUF等格式，使用工具如llama.cpp进行转换。 - 资源限制：微调大型模型需要足够的GPU内存，用户可能需要调整批次大小或使用量化技术。 - 依赖冲突：不同工具可能有不同的Python包版本要求，需要创建虚拟环境管理。 需要分步骤详细说明，确保用户能按照流程操作，并指出可能遇到的问题及解决方法。例如，安装Ollama时可能需要管理员权限，或者下载模型时网络问题。此外，数据准备的格式要求需要明确，比如每条数据是否需要包含instruction、input、output字段。 最后，确保所有命令和代码示例正确，适合Windows环境，例如使用PowerShell或CMD命令，路径的正确写法，以及如何启动服务等。可能需要提供示例配置文件或脚本，帮助用户减少配置时间。</think>以下是基于Windows系统使用LLaMA-Factory结合Ollama进行DeepSeek模型微调的详细教程： --- ### 一、环境准备 1. **安装WSL (推荐)** - 在PowerShell中执行：`wsl --install` - 安装Ubuntu发行版（WSL可解决Windows原生环境兼容性问题） 2. **安装Ollama** - 访问官网下载Windows版：https://ollama.com/download - 安装后启动服务，测试命令：`ollama run deepseek-ai/deepseek-coder-6.7b-instruct` 3. **配置Python环境** ```bash conda create -n llama_factory python=3.10 conda activate llama_factory pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 ``` --- ### 二、LLaMA-Factory配置 1. **克隆仓库** ```bash git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -r requirements.txt ``` 2. **下载DeepSeek模型** - 从Hugging Face获取模型（需申请权限）： ```bash git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat ``` --- ### 三、准备微调数据 1. **数据集格式示例（保存为`data.jsonl`）** ```json {"instruction": "解释量子计算", "input": "", "output": "量子计算利用量子比特..."} {"instruction": "写Python排序函数", "input": "", "output": "def sort_list(arr):..."} ``` 2. **转换数据集** ```bash python scripts/preprocess_data.py --data data.jsonl --output data_preprocessed.json ``` --- ### 四、执行微调 1. **配置训练参数** 修改`train_config.yaml`： ```yaml model_name_or_path: ./deepseek-llm-7b-chat dataset_path: ./data_preprocessed.json output_dir: ./output per_device_train_batch_size: 2 learning_rate: 2e-5 num_train_epochs: 3 ``` 2. **启动微调** ```bash python src/train_bash.py --config train_config.yaml ``` --- ### 五、转换Ollama格式 1. **转换为GGUF格式** ```bash python scripts/convert_to_gguf.py --model output --outfile deepseek-finetuned.gguf ``` 2. **创建Modelfile** ```text FROM deepseek-finetuned.gguf PARAMETER temperature 0.7 ``` 3. **导入Ollama** ```bash ollama create my-deepseek -f Modelfile ollama run my-deepseek ``` --- ### 六、常见问题 1. **CUDA内存不足** - 降低`per_device_train_batch_size` - 启用梯度检查点：`gradient_checkpointing: true` 2. **数据集格式错误** - 使用`jq`工具验证JSONL格式：`jq '.' data.jsonl` 3. **Ollama加载失败** - 检查模型路径权限：`chmod -R 755 ./output` --- ### 七、验证结果 ```bash curl http://localhost:11434/api/generate -d '{ "model": "my-deepseek", "prompt": "如何用Python实现快速排序？" }' ``` 通过以上步骤，您已完成DeepSeek模型的定制化微调与部署。建议从小型模型（如1B参数）开始测试以节省资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

非著名架构师

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值