保姆级教程 本地部署 deepseek + ollama + open-webui + cuda + cudnn

最新推荐文章于 2025-06-04 15:41:00 发布
最新推荐文章于 2025-06-04 15:41:00 发布
阅读量1.7k 收藏 24
点赞数 15
CC 4.0 BY-SA版权
文章标签： 机器学习 深度学习 神经网络 自然语言处理 chatgpt 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ANONYMOUSLAI/article/details/145553799

前言
本地部署deepseek-r1，基于ollama + webui，并开启cuda + cudnn 加速运算，我电脑显卡是3060 12G，没显卡的可以跳过cuda + cudnn的安装。

一、安装cuda、cudnn

  • CUDA（Compute Unified Device Architecture）是 NVIDIA 的并行计算平台和编程模型，允许开发者利用 GPU 进行通用计算。
  • cuDNN（CUDA Deep Neural Network library）是基于 CUDA 的深度学习加速库，专为神经网络操作优化。
    总结，CUDA 提供 GPU 计算基础，cuDNN 在此基础上优化深度学习任务，两者共同提升深度学习应用的性能。
  1. 安装cuda
    查看当前显卡所支持的cuda版本，打开cmd，执行nvidia-smi
    在这里插入图片描述
    如图所示，我的cuda版本是12.0，然后去官网下载对应的cuda。地址：https://developer.nvidia.com/cuda-toolkit-archive，然后根据自己操作系统进行选择下载。
    在这里插入图片描述
    下载好后直接安装，全部按默认的就行，更改路径容易导致安装失败，安装完成后，打开cmd，执行nvcc -V，可以查看cuda信息。
    在这里插入图片描述
  2. 安装cudnn
    根据自己cuda版本选择下载，地址：https://developer.nvidia.com/rdp/cudnn-archive，下载完成后，将里面的文件，全部拷贝至cuda根目录（C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.0）。
    cudnn目录结构
最低0.47元/天 解锁文章

200万优质内容无限畅学
ANONYMOUSLAI
关注
AI Agent开发第77课-DeepSeek r1本地安装全指南
打造全国最全的AI Agent开发知识领域的博客
01-30 1万+
本文详细介绍了如何在本地安装deep seek r1。
DeepSeek-R1模型5分钟下载本地对话——忘掉CUDA、GPU和烦人的代码：OLLAMA本地部署DeepSeek R1全攻略
a1966565的博客
02-15 3815
Ollama 支持在 Modelfile 中导入 GGUF 模型：创建一个名为Modelfile的文件，并在其中包含一个FROM指令，该指令指向你想要导入的模型的本地文件路径。在 Ollama 中创建模型运行模型。
DeepSeek 本地部署详细教程
2301_79763109的博客
02-09 1727
通过以上步骤即可完成本地部署。建议将本教程与官方文档结合使用，根据实际硬件环境调整量化参数。部署成功后可通过压力测试工具（如locust）进行性能评估。（此处可插入流程图示意图，文字描述如下）
本地化部署DeepSeek-R1-Distill-Qwen-1.5B
harebert的博客
01-29 8128
由于Deepseek最新发布的R1和V3实在是过于庞大，本地跑不起来，无奈之下，只能退而求其次，用一个蒸馏以后的小模型来进行测试。本机配置：RAM 64.0 GB (63.7 GB 可用)Windows 11 专业版。
DeepSeek 部署中的常见问题及解决方案
最新发布
这多冒昧啊
06-04 660
DeepSeek部署问题场景： 环境配置问题：CUDA版本冲突→匹配PyTorch版本；依赖冲突→虚拟环境隔离 模型加载问题：显存OOM→混合精度+梯度检查点；文件异常→哈希校验 推理性能问题：速度慢→Flash Attention+量化；CPU瓶颈→数据预加载 服务部署问题：高并发崩溃→异步框架+请求限流；长文本→自动分块 生产优化问题：扩展难→K8s容器化；监控缺→Prometheus采集指标
玩转 Deepseek ——第一篇、本地化部署(Windows+Ollama+Docker+OpenWebUI)
weixin_55110841的博客
03-02 2270
Deepseek支持私有化部署且在无互联网的情景下完成思考任务。Deepseek运行对配置要求很高。
在 AutoDL 上部署 Ollama + DeepSeek-R1 + Open-WebUI 的倒腾记录
AiRg1xt的博客
02-20 1921
一些在 AutoDL 上部署 Ollama + DeepSeek-R1 + Open-WebUI 倒腾的经验
保姆级教程：利用Ollama与Open-WebUI本地部署 DeedSeek-R1大模型
weixin_51995147的博客
02-02 4977
本文详细介绍了如何在本地部署DeepSeek大语言模型，利用Ollama加载模型，使用Open-WebUI创建图形对话界面，非常简单易用
ollama + deepseek + open-webui 并使用博查联网搜索能力
我hate吃西红柿
02-12 3520
市面上有很多web search api厂商，比如brave、exa、bing等，但是基本是国外的，访问慢有些还需要魔法，微软的bing价格贵且订阅需要绑定国际信用卡，所以这里推荐国内的博查。简介：持自然语言搜索的 Web Search API，从近百亿网页和生态内容源中搜索高质量世界知识，包括新闻、图片、视频、百科、机酒、学术等。
deepseek 搭建本地私有化知识库（windows 基于LangChain-Chatchat + ollama + bge-m3）
我hate吃西红柿
02-13 1316
之前写过一篇LangChain-Chatchat搭建本地知识库的，现在再次讲解下 LangChain-Chatchat + deepseek + bge-m3 来实现本地私有化知识库。
CUDA和cuDNN什么区别如何安装下载cuda
deepseek01的博客
02-25 857
需编写 CUDA C/C++ 代码通过深度学习框架间接调用（如 Python API）通用计算（如科学模拟、图形处理）深度学习（如 CNN、RNN 训练）提供底层 GPU 编程接口和工具提供优化后的深度学习核心算法实现。基础平台，独立存在依赖 CUDA，需与 CUDA 版本匹配。如果你需要本地部署Deepseek可以联系站长。通用 GPU 计算平台深度学习专用加速库。
linux环境下超详细NVIDIA驱动+CUDA+CUDNN+Anaconda3+ollama+openweb-ui+dify-main离线部署
u011463495的博客
02-14 1967
访问官网根据自己的显卡型号，下载 对应的驱动版本分别选择（Linux 64-bit RHEL 7和Linux 64-bit ），这两个都下载。安装下载好的nvidia-driver-local-repo-rhel7-515.105.01-1.0-1.x86_64.rpm。执行往后会自动创建一个nvidia-driver-local-rhel7-515.105.01.repo的yum源。本人下载的是Anaconda3-2023.07-2-Linux-x86_64.sh。
笔记本电脑本地部署ollama大模型（显存不足调用CUDA Unified Memory方法）
m0_67228616的博客
08-14 3万+
ollama个人部署
ollama教程（window系统）
老王的博客
01-12 1万+
介绍在window操作系统下安装和使用ollama。
DeepSeek R1 Ollama本地化部署全攻略：三步实现企业级私有化大模型部署
理论都是虚的，代码才是王道。
01-28 1万+
Ollama作为当前最受欢迎的本地大模型运行框架，为DeepSeek R1的私有化部署提供了便捷高效的解决方案。本文将深入讲解如何将Hugging Face格式的DeepSeek R1模型转换为Ollama支持的GGUF格式，并实现企业级的高可用部署方案。文章包含完整的量化配置、API服务集成和性能优化技巧。
最全面部署指南：轻松在Ollama上安装与配置DeepSeek R1-32B！
出发之前永远是梦想，上路之后永远是挑战。
02-11 3217
最全面部署指南，轻松在Ollama上安装与配置DeepSeek R1-32B！
史上最简单Open-webui安装方式!!!
热门推荐
xianfianpan的博客
11-02 10万+
此安装方法使用一个单独的容器映像，将Open WebUI与Ollama捆绑在一起，通过单个命令实现简化设置。3.选择Customize install选项，建议把安装路径改为其他盘（注意！安装路径中不能有中文！2.双击安装包，开始安装，注意勾选[Add python 3.11 to Path]选项！这里需要注意，不要用python3.11以上的版本，否则会不兼容！1、按下win+r打开运行框，输入cmd，回车。使用GPU支持：通过运行以下命令利用GPU资源。此时，我们会看到不断有新的包被安装。
open-webui安装部署
风之飘渺
09-15 4302
这个项目不仅提供了一个直观的界面，还支持多种功能，包括代码高亮、数学公式输入、网页浏览、预设提示词、本地RAG集成、对话标记、下载模型、聊天记录以及语音支持等。Open WebUI的设计受到了ChatGPT的启发，旨在确保用户获得友好易用的体验，无论是在桌面电脑还是移动设备上，都能享受一致而流畅的用户体验。虽然官网也给了其它的不同条件的指令，但你要知道人家是不考虑你在中国的这个X因素的。下面的指令是不带有GPU的指令。依次运行下面的指令，安装这个环境，相信初始安装的朋友都没有安装过这个。
Docker下Open WebUI，Ollama的安装实践
Anakki的博客
05-09 3万+
Docker下Open WebUI，Ollama的安装实践
deepseek本地部署，ollama+chatboxai，上传文件、图片
02-19
### DeepSeek 本地部署与 Ollama 和 ChatBoxAI 的集成 #### 安装准备 为了成功完成 DeepSeek 的本地部署并实现其与 Ollama 及 ChatBoxAI 的集成，需先准备好必要的软件环境。这包括但不限于 CUDA、cuDNN 环境配置[^1]。 #### 下载模型 前往 Ollama 官方网站 (https://ollama.com/library/deepseek-r1:8b)，下载所需的 `deepseek-r1` 模型文件[^2]。 #### 配置服务器端 通过命令行工具拉取 Docker 映像来设置 DeepSeek 运行所需的服务容器。确保按照官方文档中的指导进行操作，以使服务能够正常启动并运行于本地环境中[^3]。 ```bash docker pull ollama/deepseek-r1:latest ``` 对于 Windows 用户来说，在执行上述步骤前还需确认已正确安装适用于 Windows 平台版本的 Docker Desktop 应用程序，并开启 WSL2 支持功能以便更好地兼容 Linux 基础架构下的应用实例化需求。 #### 客户端 OpenWebUI 设置 根据提供的保姆级教程指南，继续完成客户端部分——即 OpenWebUI ——的相关设定工作。此环节涉及 Web 接口页面自定义调整等内容，旨在提供更加友好便捷的人机交互体验方式。 #### 实现文件和图片上传功能 针对特定应用场景下所提出的文件及图像资料处理请求，可在现有 API 结构基础上扩展支持多媒体数据类型的传输协议；同时利用前端框架（如 React 或 Vue.js）构建可视化组件用于接收用户提交的信息条目。此外，考虑到安全性因素的影响，则建议采用 HTTPS 协议加密整个通信链路防止敏感信息泄露风险发生。 ```python from flask import Flask, request, jsonify import os app = Flask(__name__) UPLOAD_FOLDER = './uploads' if not os.path.exists(UPLOAD_FOLDER): os.makedirs(UPLOAD_FOLDER) @app.route('/upload', methods=['POST']) def upload_file(): if 'file' not in request.files: return "No file part", 400 file = request.files['file'] if file.filename == '': return "No selected file", 400 filename = secure_filename(file.filename) filepath = os.path.join(app.config['UPLOAD_FOLDER'], filename) file.save(filepath) response_data = {"message": f"{filename} has been uploaded successfully."} return jsonify(response_data), 200 ``` 这段 Python 代码展示了如何创建一个简单的 RESTful API 来接受来自用户的文件上传请求，并将其保存到指定目录中去。实际项目开发过程中可根据具体业务逻辑进一步优化和完善该段脚本的功能特性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值