Windows本地部署DeepSeek-AI大模型（小白也可以学会）

最新推荐文章于 2025-12-27 16:51:58 发布
原创 最新推荐文章于 2025-12-27 16:51:58 发布 · 299 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#deekseep #语言模型 #人工智能 #集成学习

部署运行你感兴趣的模型镜像

因为改知识库是基于Ollama 的所以需要先安装Ollama.

首先需要在 Ollama 官网下载对应的程序

https://ollama.com/download

下载好后安装

点击install

会自主选择系统盘符

安装完成后打开命令行 搜索框输入cmd

输入一下内容查看版本

ollama -v

出现以上就说明ollama 已经安装完毕了，下面要安装知识库了

点击官网的这个

https://ollama.com/

https://ollama.com/library/deepseek-r1

会跳转到这个页面

这里可以根据自己设备的配置选择不同大小的知识库。越大的知识库需要耗费的资源越高，请谨慎选择，这里选择的是 7b这个版本的知识库

往下面滚动

复制这段命令，粘贴到命令行

ollama run deepseek-r1:7b

这个界面表示正在下载。

等待下载

这个界面说明安装完毕了

可以使用了。

如果觉得命令行不太方便，可以使用图形页面，我使用的ChatBox图形页面

https://chatboxai.app/zh

下载安装

选择Ollama API

点击保存

到这里就已经完毕了。

可以使用啦！！！

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

【DeepSeek部署】Windows系统本地部署DeepSeek详细教程
2501_91810672的博客
04-26 1300
最近DeepSeek非常火爆，因其卓越的推理能力和低成本特性而广受欢迎，DeepSeek开源了部分模型，通过蒸馏技术可以将大模型参数压缩为更小的版本（如1.5B、7B等），显著降低对显存和计算资源的需求，这使得普通家用电脑也能部署，无需依赖高端硬件。本地部署不仅能规避网络延迟和隐私风险，还能根据需求定制模型功能，成为高效办公、学习研究的利器。此外，本地部署使数据完全存储于自有服务器或私有云，避免第三方平台的数据泄露风险，尤其适用于医疗、金融等涉及敏感信息的行业。
0基础 实现本地部署 DeepSeek 的 DeepSeek-R1 模型教程，再也不怕官网宕机啦！
qq_63911508的博客
02-02 3878
0基础 实现本地部署 DeepSeek 的 DeepSeek-R1 模型教程，再也不怕官网宕机啦！
GraphRAG + Ollama 本地部署全攻略：避坑实战指南
bagell的博客
08-23 1591
1微软开源 GraphRAG 后，热度越来越高，目前 GraphRAG 只支持 OpenAI 的闭源大模型，导致部署后使用范围大大受限，本文通过 GraphRAG 源码的修改，来支持更广泛的 Embedding 模型和开源大模型，从而使得 GraphRAG 的更容易上手使用。2需要 Python 3.10-3.12 环境。安装完整后，需要创建一个文件夹，用来存储你的知识数据，目前 GraphRAG 只支持 txt 和 csv 格式。首先，我们需要运行以下命令来初始化。
Ollama 部署指南（Windows）
JohnChen(Net)
02-21 2232
Ollama 安装不需要 Administrator，默认情况下安装在您的主目录中。安装 Ollama 后，您将需要额外的空间来存储大型语言模型，其大小可能为数十到数百 GB。如果您的主目录没有足够的空间，您可以更改二进制文件的安装位置和模型的存储位置。Ollama 使用 unicode 字符进行进度指示，在 Windows 10 中，这些字符可能会在某些较旧的终端字体中呈现为未知方块。它安装在您的帐户中，不需要管理员权限。要更改 Ollama 存储下载模型的位置而不是使用您的主目录，请设置环境变量。
Ollama如何升级
黑夜の骑士的博客
06-03 2017
1.大家好，我是黑夜de骑士，笔者将持续输出AI，设计软件二次开发，数字孪生，工程数字化领域开发干货，欢迎关注。2.手动升级，其实很简单，只要去官网下载最新版本的ollama，然后重新安装即可。1.有时候，ollama图标会提示自动升级，直接按照提示点击即可。随着技术发展，ollama的能力越来越强，那么如何升级呢？cmd中命令行输入以下代码，即可查看ollama当前版本。2.AI开发交流裙：1029312745。3.公纵号：工程数字化趣玩实验室。3.毕站：黑夜de骑士。
Windows 中的 Ollama
csdn_aspnet的专栏，请点击博客主页右上角三个点中的私信联系
03-26 1万+
Ollama 可让您获取开源模型以供本地使用。它会自动从最佳来源获取模型，如果您的计算机具有专用 GPU，它会无缝地使用 GPU 加速，而无需手动配置。通过修改提示可以轻松实现自定义模型，而 Langchain 不是此操作的先决条件。此外，Ollama 可以作为 docker 映像访问，允许您将个性化模型部署为 docker 容器。
Windows10中ollama升级方法
当 AI 开始写文章、绘星空，甚至预测未来，您还在旁观吗？这里将剖开人工智能的思考逻辑，拆解 AI 创作的底层密码，也聊聊人工智能里的人文温度。每篇都有让你拍案的细节，快来解锁 AI 时代的神奇世界！
06-29 1338
1.先备份ollama的模型存放文件夹，防止出现意外情况。如果模型存放文件夹指定在其它盘，需要去其它盘找到并备份；4.下载完成后，点击安装即可。因之前模型存放路径的环境变量已经配置好，所以无需重新配置。3.到ollama官网下载最新版本的ollama安装文件（windows版本）；5.检查安装，使用ollama -v命令，如果显示最新版本号，则表明安装成功。2.将原先的ollama进行卸载；
Ubutun本地部署DeepSeek R1
ou1531037815的博客
02-06 1611
在ubuntu利用Ollama本地部署deepseek
Ollama 部署 DeepSeek-R1 本地模型
qq_34185638的博客
02-01 4147
Ollama 是一个快速、轻量且易于使用的开源 AI 代理框架，由 Facebook 开发，可以用来托管和运行各种语言模型（LLM），可以实现在您的硬件设备快速部署各种本地大模型，并且提供了一个简单命令行界面，方便用户快速部署。既然现在已经了解了 Ollama是干嘛的，那么接下来就是在你的操作系统中安装 Ollama了。
小白也能使用 DeepSeek-R1 模型 （包含解决DeepSee R1 卡顿问题）
02-11 3460
相信大家这个春节被各种 DeepSeek R1 的横空出世给刷屏了，导致 DeepSeek 官网一度卡死，出现这样的情况。通过官网的介绍，DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。并且把 DeepSeek-R1 训练技术全部公开，以期促进技术社区的充分交流与创新协作。可谓真的是“国产之光”。当然根据官网介绍，在。
ollama怎么升级版本
热门推荐
keyboard专栏
08-14 4万+
要升级ollama的版本，你可以根据最初的安装方式来选择升级的方法。
Ollama的升级教程
zxw的博客
12-06 9663
输入"ollama -v"，查看当前ollama版本如果官网下载很快的话，直接下载国内镜像。大家先去看下有没有新版本的，这是魔塔的ollama镜像，如果更新不及时，可以使用我的备份镜像安装modelscope命令行下载。
ollama v0.7.0 正式发布！性能大提升，NVIDIA GPU支持更完善，Windows体验全面优化！
福大大架构师每日一题
05-16 2066
2025年5月13日，备受期待的 Ollama v0.7.0 版本终于正式发布！作为 AI 模型运行与管理领域的重要工具，Ollama 持续以卓越的性能和创新功能赢得广大开发者和AI爱好者的青睐。本次 v0.7.0 版本，在稳定性、性能、兼容性多个层面进行了全面优化，尤其是针对 Windows 以及 NVIDIA GPU 运行环境的改进，极大提升了用户体验。此外，对于模型导入、日志管理、API响应等关键细节，也做了诸多细致打磨。
在 Windows 和 Linux 系统上安装和部署 Ollama
萧鼎的博客
03-04 1456
无论是在 Windows 还是 Linux 上，安装 Ollama 都非常简单，并且支持多种流行的开源模型。Ollama 是一个强大的本地大语言模型（LLM）运行工具，允许用户轻松下载和运行不同的 AI 模型，如 LLaMA、Mistral 和 Gemma。本教程将详细介绍如何在 Windows 和 Linux 系统上安装 Ollama、下载所需的模型，并进行基本的部署和使用。安装完成后，可以下载并运行 Ollama 提供的各种 AI 模型。安装完成后，可以开始使用 Ollama 运行模型。
DeepSeek本地安装太简单了，人人都会操作
沐雪架构师
02-13 1654
AI人工智能软件DeepSeek近期真的很火，功能强大而且免费开源，任何个人和公司都可以安装使用，甚至是商用。它可以在你的个人电脑上安装部署，而且安装操作相当简单，可以说看完这篇后，人人都会安装。支持各种操作系统：Windows,MacOS,Linux。安装部署仅需3步：1、安装Ollama，2、在Ollama里安装运行DeepSeek-R1,3、安装ChatBox并且配置DeepSeek。废话不多说，详细步骤如下。
【AI学习-comfyUI学习-第二十三-法线贴图工作流-depth 结构+MiDaS 法线-各个部分学习】
qq_22146161的博客
12-25 1625
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。
6神经网络框架
最新发布
2301_81531626的博客
12-27 1275
本文系统介绍了神经网络的基本框架和发展过程。首先指出线性模型的局限性，说明其无法拟合复杂非线性关系。接着引入分段线性曲线和Sigmoid函数，通过参数调节实现曲线拟合。随后详细阐述了神经网络的构建过程：从单输入扩展到多特征输入，引入矩阵运算简化表达式，并说明激活函数的作用。最后介绍深度学习中ReLU激活函数的优势，其简单计算特性可有效组合成复杂曲线。全文通过数学公式和图示相结合，清晰展现了神经网络从线性模型到深度学习框架的演进逻辑。
Q-learning 算法 —— 无模型（model-free）强化学习
一杯水果茶！足矣~
12-25 1545
从已知模型到 Model-free 的强化学习转变：Q-Learning 算法，通过详细示例来讲解，理解 Q-table 的更新和贪婪策略
2025国自然资助率12.29%创新低！2026年如何用数据与AI“破局”？
imbackneverdie的博客
12-25 1205
这绝非简单的文字堆砌，它内在嵌入了对国自然申报规范的理解，能有效帮你规避常见的“方向偏离”“逻辑混乱”“格式错误”等基础问题，将你从繁琐的框架搭建中解放出来，专注于核心内容的精雕细琢。国自然2025年的资助率降至历史新低的12.29%，数万科研人员面对着更激烈的竞争与更严格的评审标准，对于2026年度的申报者而言，“高效准备，少走弯路”已不是口号，而是生存法则。它不仅告诉你“是什么”，更分析“为什么”和“怎么办”，直接为你的选题方向和立项论证提供坚实的数据支撑。模块，堪称科研人员的“选题外脑”。
部署本地DeepSeek-R1需注意哪些关键配置细节？
11-26
<think> 嗯，用户这次想了解部署本地DeepSeek-R1时的关键配置细节。从引用内容看，用户之前可能看过部署指南和优化建议，但需要更具体的配置要点。 用户提到的引用[1]强调小白也能部署，说明用户可能不是专业开发者；引用[2]提到思路链的实用性，暗示用户关注可操作性。结合"关键配置细节"这个明确需求，我需要把技术细节转化为易懂的步骤。 首先想到硬件配置是基础，特别是显存要求。DeepSeek-R1有7B和33B两个版本，必须区分说明：7B需要至少12GB显存，33B需要80GB以上。这里要提醒用户注意量化选项——如果显卡不达标，4bit量化能大幅降低显存需求。 软件环境部分，Python版本和PyTorch的CUDA匹配是常见坑点。需要强调创建虚拟环境的重要性，避免依赖冲突。模型加载代码要给出两种示例：直接加载和分片加载的写法，因为大模型容易OOM。 配置文件容易被忽视，要提醒修改max_seq_length和batch_size。用户可能不知道batch_size对显存的影响，得用具体数值说明：33B模型batch_size=4时显存占用约60GB。 部署后的测试环节也很关键。要示范有效的测试指令，比如"用五行诗解释量子力学"，既能测性能又直观有趣。最后补充常见错误处理：OOM时优先调batch_size，加载失败检查路径和权限。 用户没提具体使用场景，但引用[2]显示ta关注思维链质量，所以补充说明：配置max_seq_length直接影响模型推理深度，这对复杂任务很重要。语气上保持鼓励，结尾用"开启AI探索之旅"呼应引用[1]的积极基调。 </think> 部署本地 DeepSeek-R1 模型时，以下关键配置细节需特别注意，直接影响模型运行效果和效率： --- ### **一、硬件配置** 1. **显存要求** - **7B 参数模型**：至少需 **12GB 显存**（如 RTX 3060 12G） - **33B 参数模型**：需 **≥80GB 显存**（如 A100 80G） - *低显存方案*：使用 `bitsandbytes` 库启用 **4-bit 量化**，显存需求可降低 50-70%[^1]。 2. **内存与存储** - 内存：建议 **≥32GB RAM** - 磁盘空间：完整模型权重需 **≥65GB**（33B 版本），推荐 SSD 加速加载。 --- ### **二、软件环境** ```bash # 基础依赖 pip install torch==2.1.0+cu121 -f https://download.pytorch.org/whl/torch_stable.html pip install transformers==4.35.0 accelerate bitsandbytes ``` 1. **PyTorch 与 CUDA 匹配** - 确认 CUDA 版本（`nvcc --version`），选择对应 PyTorch 版本（如 CUDA 12.1 → `torch==2.1.0+cu121`）。 2. **量化加载配置** 在模型加载代码中启用 4-bit 量化： ```python from transformers import AutoModelForCausalLM, BitsAndBytesConfig quantization_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_compute_dtype=torch.float16 ) model = AutoModelForCausalLM.from_pretrained( "deepseek-ai/deepseek-llm-r1-33b-chat", quantization_config=quantization_config, # 关键配置 device_map="auto" ) ``` --- ### **三、模型加载与推理配置** 1. **设备映射策略** `device_map="auto"` 自动分配 GPU/CPU 资源，支持多卡部署： ```python model = AutoModelForCausalLM.from_pretrained( model_path, device_map="auto", # 自动分配设备 max_memory={0: "24GiB"} # 指定主卡显存上限 ) ``` 2. **上下文长度调整** 默认支持 32K 上下文，如需扩展需修改配置： ```python model.config.max_position_embeddings = 32768 # 确保与模型兼容 ``` --- ### **四、性能优化配置** 1. **FlashAttention-2 加速** 安装定制依赖并启用： ```bash pip install flash-attn --no-build-isolation ``` ```python model = AutoModelForCausalLM.from_pretrained( model_path, use_flash_attention_2=True, # 提升推理速度 30% torch_dtype=torch.float16 ) ``` 2. **批处理与流式输出** ```python from transformers import TextStreamer streamer = TextStreamer(tokenizer) # 实现实时流式输出 inputs = tokenizer("如何部署DeepSeek-R1？", return_tensors="pt").to("cuda") outputs = model.generate(**inputs, streamer=streamer, max_new_tokens=500) ``` --- ### **五、常见配置问题处理** | 问题现象 | 解决方案 | |-------------------------|------------------------------| | `CUDA out of memory` | 启用 `load_in_4bit=True` 或降低 `max_new_tokens` | | `Tokenizer not found` | 显式指定 tokenizer 路径：`from_pretrained("deepseek-ai/deepseek-llm-r1-33b-chat")` | | 推理速度慢 | 启用 `use_flash_attention_2=True` 并检查 CUDA 版本 | --- > **部署验证命令**：运行以下测试指令确认功能正常： > ```python > input_text = "用五句话解释量子纠缠" > inputs = tokenizer(input_text, return_tensors="pt").to(model.device) > print(tokenizer.decode(model.generate(**inputs, max_new_tokens=200)[0])) > ``` 通过精细调整上述配置，可显著提升模型本地部署的稳定性和效率。遇到显存瓶颈时，**4-bit 量化与梯度检查点**是最有效的优化手段[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值