Deepseek+Ollama+Open webUI本地部署教程,大模型入门到精通,收藏这篇就足够了!

一、组件介绍

1.1 deepseek R1硬件要求

以下是 DeepSeek R1 不同版本的硬件需求对比表,涵盖参数量、模型大小、CPU、GPU、内存、存储及适用场景等信息:

版本参数量模型大小CPU 最低要求GPU 显存需求内存需求存储空间适用场景
1.5B15亿1.1-2GB4核(Intel/AMD多核)非必需 / 4GB+(GTX 1650)8GB+3GB+低资源设备(树莓派、旧笔记本)、简单问答、嵌入式系统
7B70亿4.7-5GB8核(现代多核CPU)8GB+(RTX 3060/4060)16GB+8GB+中小型企业开发、文本摘要、翻译、轻量级对话
8B80亿4.9-5GB8核(现代多核CPU)8GB+(RTX 3070/4060)16-32GB8GB+代码生成、逻辑推理(比7B精度更高)
14B140亿9GB12核16GB+(RTX 4090/A5000)32GB+15GB+企业级合同分析、长文本生成、论文辅助写作
32B320亿20GB16核(i9/Ryzen 9)24GB+(A100/双RTX 3090)64GB+30GB+医疗/法律咨询、多模态预处理
70B700亿43GB32核(服务器级CPU)多卡(2×A100/4×RTX 4090)128GB+70GB+科研机构、金融预测、创意写作
671B6710亿404GB64核(服务器集群)多节点(8×A100/H100)512GB+300GB+国家级AI研究、气候建模、AGI探索

补充说明

  • 个人开发者

    :1.5B-14B(性价比较高)

  • 企业/研究

    :32B-70B(高精度任务)

  • 超大规模计算

    :671B(需分布式集群)。

本人笔记本电脑为intel ultra 9 285 cpu 和集成显卡,也可以无压力部署7B和14B

1.2 Ollama介绍

Ollama 是一个开源的本地大型语言模型(LLM)运行框架,旨在简化用户在本地部署和管理大模型的过程。它通过简单的命令行工具和 API,让开发者、研究人员甚至普通用户都能轻松运行各类开源大模型(如 Llama2、DeepSeek、Mistral 等),而无需依赖云端服务。

Ollama 的核心特点

  1. 简单易用
  • 只需一条命令(如 ollama run llama2)即可下载并运行模型,无需复杂的配置。
  • 提供类似 ChatGPT 的交互式聊天界面,适合非开发者直接使用。
  1. 本地化运行
  • 支持离线推理,数据无需上传云端,保障隐私安全。
  • 适用于 Windows、macOS 和 Linux 系统,并支持 Docker 部署。
  1. 丰富的模型库
  • 内置多种预训练模型(如 Llama2、DeepSeek、Phi、Gemma 等),用户可直接调用。
  • 支持自定义模型导入和微调(Fine-tuning),适应特定任务需求。
  1. 轻量高效
  • 优化 GPU/CPU 资源占用,即使在消费级硬件(如 RTX 3060)上也能流畅运行 7B 级别模型。
  • 支持模型热加载,无需重启即可切换不同模型。
  1. 生态扩展
  • 可搭配 Open WebUI、Dify 等工具构建可视化界面或智能体应用。
  • 提供 RESTful API(默认端口 11434),方便集成到其他系统。

适用场景

  • 个人学习/研究

    :本地运行大模型进行文本生成、代码辅助等。

  • 企业私有化部署

    :保护敏感数据,避免依赖云服务。

  • AI 应用开发

    :结合 Open WebUI 或 Dify 搭建智能聊天机器人、知识库问答系统等。

1.3 open webUI介绍

Open WebUI 是一个开源的、可扩展且用户友好的自托管 AI 平台,主要用于与生成式人工智能模型(如大语言模型)进行交互。它提供了一个直观的图形界面,类似于 ChatGPT,支持本地或云端部署的模型,并具备丰富的功能。以下是其主要特点和应用场景:

1. 核心功能

本地部署与隐私保护:所有数据保存在本地,无需上传到云端,确保隐私和安全。
多模型支持:兼容 Ollama、OpenAI API、vLLM 等,可连接本地或远程的大语言模型(如 DeepSeek、LLaMA、Mistral 等)。
直观交互界面:支持多轮对话管理、Markdown/LaTeX 渲染、代码高亮等,提升用户体验。
扩展能力:内置 RAG(检索增强生成)引擎,支持联网搜索、文档集成及插件扩展(如语音、图像生成)。

2. 典型应用场景

开发者工具:快速调试和验证本地大模型,无需编写代码。
企业私有化部署:构建合规的 AI 平台,结合内部数据增强模型能力。
个人 AI 探索:通过浏览器访问本地模型,实现问答、文本生成等功能。

3. 技术亮点

响应式设计:适配桌面和移动端,跨平台使用。
易集成性:支持 Docker、Python 等方式部署,可与现有开发框架(如 React、Vue)结合。
社区驱动:开源项目,活跃的社区贡献持续优化功能。

2.1 windows 11 本地下载安装Ollama

在 Windows 11 上安装 Ollama 的步骤如下:

1. 下载 Ollama

访问 Ollama 官网,选择 Windows 版本下载安装包(OllamaSetup.exe)。

2. 安装 Ollama

• 双击下载的 OllamaSetup.exe,按照安装向导操作即可

3. 验证安装

打开 PowerShell 或 CMD,输入以下命令检查是否安装成功:

若显示版本号(如 ollama version 0.6.5),则安装成功。电脑右下角有出现Ollama的图标:

更改模型存储路径

默认模型存储在 C:\Users\<用户名>\.ollama\models,如需修改:

  1. 退出 Ollama 服务(右键任务栏图标选择 Quit Ollama)。
  2. 移动模型文件夹models到新路径(如 D:\Ollama\.ollama\models)。
  3. 设置环境变量:
    • 变量名:OLLAMA_MODELS
    • 变量值:新路径(如 D:\Ollama\.ollama\models)。
  4. 重启 Ollama 服务。
修改 API 端口

默认端口为 11434,可通过环境变量 OLLAMA_HOST 修改(如 :8000)。

2.2 Ollama下载部署deepseek

Ollama下载部署deepseek很简单,只需要执行以下命令则会自动下载部署,部署成功后即可进行对话

如果想部署其他大模型,可以在官网:https://ollama.com/search 搜索支持的模型:

2.3 windows 11安装docker

在 Windows 11 上安装 Docker 的步骤如下:

1. 系统要求

操作系统:Windows 11(64 位,版本 21H2 或更高)。
硬件要求
• 4GB 以上内存(推荐 8GB)。
• 启用 CPU 虚拟化(Intel VT-x / AMD-V)。
• 至少 1GB 可用磁盘空间。

2. 启用必要功能

  1. 开启 Hyper-V 和 WSL2


    • 搜索并打开 “启用或关闭 Windows 功能”
    • 勾选 Hyper-V适用于 Linux 的 Windows 子系统 (WSL)

• 在 PowerShell 中设置 WSL2 为默认版本:

wsl --set-default-version 2

3. 下载并安装 Docker Desktop

  1. 访问 Docker 官网 下载 Windows 版安装包(Docker Desktop Installer.exe)。
  2. 双击安装文件,按向导完成安装(默认勾选 “Use WSL 2”)。
  3. 安装完成后重启电脑。

4. 验证安装

  1. 启动 Docker Desktop(任务栏出现鲸鱼图标即表示运行中)。
  2. 打开终端(CMD/PowerShell),输入以下命令检查版本:

若显示版本号(如 Docker version 28.0.1),则安装成功。

常见问题解决

虚拟化未启用:进入 BIOS 启用 CPU 虚拟化。
WSL2 报错:更新内核或运行 wsl --update

更多细节可参考 Docker 官方文档。

2.4 使用docker安装open web ui

1. docker拉取 Open WebUI 镜像

首先提取最新的 Open WebUI Docker 镜像。

docker pull ghcr.io/open-webui/open-webui:main

2. 运行容器

使用默认设置运行容器。此命令包括卷映射,以确保持久数据存储。

docker run -d -p 3000:8080 -v d:\open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

说明:

  • 卷映射 (-v d:\open-webui:/app/backend/data**):**将数据目录映射到本地目录d:\open-webui:确保数据的持久存储。这可以防止容器重启之间的数据丢失。
  • 端口映射 (-p 3000:8080**):**在本地计算机的端口 3000 上公开 WebUI。

3. 访问open webui

  打开链接:http://localhost:3000 访问 Open WebUI。设置管理员密码后即可以登录:

open webui会自动识别本地安装的Ollama大模型,正常不用手工配置

2.5 open webui直接调用deepseek官方api

如果想使用官方满血的deepseek,则可以配置官方的api进行对话。

点击open webui右上角用户图标,打开管理员面板

然后选择设置-外部连接-管理OpenAI API连接,添加一个连接,URL输入https://api.deepseek.com,和申请的api密钥

模型选择项多了deepseek的两个模型:

选择了deepseek-chat模型,也就是deepseek-V3,即可以进行对话了:

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2025 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享

👇👇扫码免费领取全部内容👇👇

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

在这里插入图片描述

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明: AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

在这里插入图片描述

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值