保姆级教程 本地部署 deepseek + ollama + open-webui + cuda + cudnn

前言
本地部署deepseek-r1,基于ollama + webui,并开启cuda + cudnn 加速运算,我电脑显卡是3060 12G,没显卡的可以跳过cuda + cudnn的安装。

一、安装cuda、cudnn

  • CUDA(Compute Unified Device Architecture)是 NVIDIA 的并行计算平台和编程模型,允许开发者利用 GPU 进行通用计算。
  • cuDNN(CUDA Deep Neural Network library)是基于 CUDA 的深度学习加速库,专为神经网络操作优化。
    总结,CUDA 提供 GPU 计算基础,cuDNN 在此基础上优化深度学习任务,两者共同提升深度学习应用的性能。
  1. 安装cuda
    查看当前显卡所支持的cuda版本,打开cmd,执行nvidia-smi
    在这里插入图片描述
    如图所示,我的cuda版本是12.0,然后去官网下载对应的cuda。地址:https://developer.nvidia.com/cuda-toolkit-archive,然后根据自己操作系统进行选择下载。
    在这里插入图片描述
    下载好后直接安装,全部按默认的就行,更改路径容易导致安装失败,安装完成后,打开cmd,执行nvcc -V,可以查看cuda信息。
    在这里插入图片描述
  2. 安装cudnn
    根据自己cuda版本选择下载,地址:https://developer.nvidia.com/rdp/cudnn-archive,下载完成后,将里面的文件,全部拷贝至cuda根目录(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.0)。
    cudnn目录结构
### DeepSeek 本地部署Ollama 和 ChatBoxAI 的集成 #### 安装准备 为了成功完成 DeepSeek本地部署并实现其与 Ollama 及 ChatBoxAI 的集成,需先准备好必要的软件环境。这包括但不限于 CUDAcuDNN 环境配置[^1]。 #### 下载模型 前往 Ollama 官方网站 (https://ollama.com/library/deepseek-r1:8b),下载所需的 `deepseek-r1` 模型文件[^2]。 #### 配置服务器端 通过命令行工具拉取 Docker 映像来设置 DeepSeek 运行所需的服务容器。确保按照官方文档中的指导进行操作,以使服务能够正常启动并运行于本地环境中[^3]。 ```bash docker pull ollama/deepseek-r1:latest ``` 对于 Windows 用户来说,在执行上述步骤前还需确认已正确安装适用于 Windows 平台版本的 Docker Desktop 应用程序,并开启 WSL2 支持功能以便更好地兼容 Linux 基础架构下的应用实例化需求。 #### 客户端 OpenWebUI 设置 根据提供的保姆教程指南,继续完成客户端部分——即 OpenWebUI ——的相关设定工作。此环节涉及 Web 接口页面自定义调整等内容,旨在提供更加友好便捷的人机交互体验方式。 #### 实现文件和图片上传功能 针对特定应用场景下所提出的文件及图像资料处理请求,可在现有 API 结构基础上扩展支持多媒体数据类型的传输协议;同时利用前端框架(如 React 或 Vue.js)构建可视化组件用于接收用户提交的信息条目。此外,考虑到安全性因素的影响,则建议采用 HTTPS 协议加密整个通信链路防止敏感信息泄露风险发生。 ```python from flask import Flask, request, jsonify import os app = Flask(__name__) UPLOAD_FOLDER = './uploads' if not os.path.exists(UPLOAD_FOLDER): os.makedirs(UPLOAD_FOLDER) @app.route('/upload', methods=['POST']) def upload_file(): if 'file' not in request.files: return "No file part", 400 file = request.files['file'] if file.filename == '': return "No selected file", 400 filename = secure_filename(file.filename) filepath = os.path.join(app.config['UPLOAD_FOLDER'], filename) file.save(filepath) response_data = {"message": f"{filename} has been uploaded successfully."} return jsonify(response_data), 200 ``` 这段 Python 代码展示了如何创建一个简单的 RESTful API 来接受来自用户的文件上传请求,并将其保存到指定目录中去。实际项目开发过程中可根据具体业务逻辑进一步优化和完善该段脚本的功能特性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值