Ollama+Nginx+4090打造DeepSeek-R1-32B高可用大模型集群,助力企业拥抱AI时代

价格屠夫DeepSeek!这次开卷本地私有化部署;海辛大佬手把手叫你用ComfyUI;一份精彩的深度学习历史回顾;Devv创始人真诚复盘 | ShowMeAI日报 日报关键词:🉑DeepSeek开卷本地私有化部署;🉑上海交大 LLM 课程完结;🉑海辛录制的ComfyUI基础视频教程;🉑Devv AI搜索引擎创始人复盘;GenAI设计模式全面指南;🉑深度学习历史回顾… 点击阅读全文 阅读详情
AI摘要

本文介绍了如何利用Ollama、Nginx和4090 GPU打造DeepSeek-R1-32B高可用大模型集群,以支持企业级AI应用。内容涵盖了成本效率、性能可靠性、技术可控性等关键优势,并详细说明了部署方案、Ollama的安装、Nginx配置以及Open WebUI远程验证等步骤。

今年是 DeepSeek-R1 系列模型深入千行百业,助力企业全面拥抱 AI 变革 的关键一年!

无论企业是 自研应用,还是基于大模型推出 AIGC 产品,都需要高效部署 DeepSeek-R1。在企业级场景下,采用模型集群方案至关重要,其优势主要体现在以下几个方面:

  1. 成本效率与自主性

    • 长期成本优化:避免云厂商API调用费用,尤其在高并发场景下边际成本更低。
    • 数据主权保障:敏感数据无需外传,满足金融、医疗等行业的合规要求(如GDPR、HIPAA)。
    • 定制化能力:支持模型微调(Fine-tuning)、领域适配(Domain Adaptation)及业务逻辑嵌入。
  2. 性能与可靠性

    • 低延迟响应:本地化部署消除公网传输延迟,结合模型量化技术可实现毫秒级推理。
    • 弹性扩展:通过Docker动态扩缩容应对流量波动,避免单点瓶颈。
    • 高可用架构:多副本部署结合负载均衡(如Nginx/HAProxy)实现服务冗余。
  3. 技术可控性

    • 版本迭代灵活:支持灰度发布、A/B测试,快速验证模型优化效果。
    • 软硬件协同优化:可针对特定硬件(如NVIDIA GPU+NVLink)优化计算图与算子。

首先,我们在中间件选型时充分考虑了企业的综合成本,最终确定了以下技术组合:

DeepSeek-R1-32B(量化版) + Nginx + Ollama + 4090 GPU

为确保系统的高可用性,至少需要配置两块 4090 GPU。同时,在应用端设置限流机制,当模型负载达到上限时,系统会向用户提供友好的提示。img

服务器繁忙,请稍后再试。

总体部署方案

1、选择 Ollama 的 Docker 版本,便于随时跟进 Ollama 的最新版本升级。

2、采用 Nginx 反向代理,实现模型接口的负载均衡。

3、对于 DeepSeek-R1-32B,我们推荐使用基于 Ollama 量化的版本(约 20G),主要考虑其能在单块 4090 GPU 上顺利部署,同时在能力和性能上均能满足需求。当然,如果企业经济实力充足,也可以选择原始版(约 70G),此版本启动一个模型服务需要 4 块 4090 GPU,而实现高可用则需配置 8 块 4090 GPU。

Linux下Ollama的安装

实现目标:确保每个 Ollama 的 Docker 容器独占一块 4090 GPU,并配置独立端口。保证 Docker 启动时 Ollama 服务自动启动,停止 Docker 时 Ollama 服务也随之停止。

执行以下命令创建与启动Docker:

sudo docker run -dp 8880:11434 --runtime=nvidia --gpus device=0 --name DeepSeek-R1-1 -v /model/deepseek-r1-32b:/root/.ollama/models ollama/ollama:0.5.7

第二个Docker可以启动8881端口,选择GPU的1号卡,名字DeepSeek-R1-2,具体命令大家自己写就可以。

Nginx配置

实现目标: 负载所有Ollama提供的模型接口,实现模型高可用配置。

Nginx配置如下:

在这里插入图片描述

请求URL示例:

http://ip:80/api/generate

请求cURL示例:

在这里插入图片描述

Open WebUI远程验证

下载与安装

地址:https://github.com/open-webui/open-webui

找到“If Ollama is on your computer, use this command:”提示语,并复制命令。

img

注:我们采用Docker环境部署,本地环境请自行安装。

将复制的命令,在一个新的命令提示符窗口下打开。

img

安装完成后可以在Docker列表中看到Open WebUI的条目。

img

2、Open WebUI+DeepSeek-R1

Open WebUI地址:http://localhost:3000

拷贝地址在浏览器中打开,或是点击Docker Open WebUI条目中红框圈住的部分。

img

打开后的Open WebUI界面如下:

img

点击“开始使用”,完成管理员账号的创建,配置远程模型,就可以进入聊天界面。

img

选择“管理员面板”-“外部连接”-“Ollama API”,添加外部地址。

img

img

写在最后

通过上述架构设计,企业可构建高可用、低成本的私有化模型服务,同时为后续模型迭代奠定技术基础。

最后让它再为我写一首诗!

我的提示词:

用李白的诗体,写一首诗,随便写点啥主题。

img

DeepSeek无疑是2025开年AI圈的一匹黑马,在一众AI大模型中,DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破,各大科技巨头都火速出手,争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火,远不止于此。它是一场属于每个人的科技革命,一次打破界限的机会,一次让普通人也能逆袭契机。

DeepSeek的优点

read-normal-img

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势,目前懂得大模型技术方面的人才很稀缺,而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行,对于想要转行创业,提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

大模型岗位需求越来越大,但是相关岗位人才难求,薪资持续走高,AI运营薪资平均值约18457元,AI工程师薪资平均值约37336元,大模型算法薪资平均值约39607元。

read-normal-img

掌握大模型技术你还能拥有更多可能性:

• 成为一名全栈大模型工程师,包括Prompt,LangChain,LoRA等技术开发、运营、产品等方向全栈工程;

• 能够拥有模型二次训练和微调能力,带领大家完成智能对话、文生图等热门应用;

• 薪资上浮10%-20%,覆盖更多高薪岗位,这是一个高需求、高待遇的热门方向和领域;

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把都打包整理好,希望能够真正帮助到大家。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】在这里插入图片描述

👉AI大模型学习路线汇总👈

大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)

read-normal-img

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

read-normal-img

👉大模型视频和PDF合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

read-normal-img

read-normal-img

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

read-normal-img

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】在这里插入图片描述

DeepSeek本地部署详细指南 通过上述步骤,你可以在本地成功部署DeepSeek模型,并通过Ollama或Open Web UI与模型进行交互。本地部署不仅能够保护数据隐私,还能根据需求灵活调整模型参数,满足不同场景下的使用需求。如果你在部署过程中遇到任何问题,可以在评论区留言,我们将一起解决。希望这篇教程能帮助你顺利部署DeepSeek模型,开启高效开发的新旅程! 阅读详情

相关推荐

DeepSeek R1本地化部署与联网功能实战指南:从零搭建智能对话系统

在人工智能技术快速发展的今天,如何将先进的对话模型DeepSeek R1部署到本地环境并赋予其联网能力,成为许多开发者和企业关注的重点。本文将深入讲解完整的本地化部署流程,并通过实例代码演示如何为模型添加实时网络访问功能。

理论都是虚的,代码才是王道。 7万+

一文教你如何本地部署玩转DeepSeek-V3,免费体验100度算力包跑通!

只需三步,免费体验100度算⼒包就能完成DeepSeek-V3的私有化部署!

weixin_46880696的博客 9万+

SAP FICO实操:如何修改已发生业务数据的成本中心公司代码(附RKACOR06程序运行指南)

本文详细解析了SAP FICO系统中使用RKACOR06程序修改已发生业务数据的成本中心和公司代码的实操方法。通过实战案例分享,提供从前期准备到后期验证的全流程指南,帮助企业应对组织架构重组或财务核算体系调整时的数据迁移挑战,特别适用于跨公司代码的成本中心划转场景。

weixin_27303545的博客 192

DeepSeek本地部署,保姆级教程,带你打造最强AI

配置后,Ollama 服务将能在当前网络(如家庭 Wifi)中提供服务。你可以使用其他设备上的 Chatbox 客户端连接到此服务。可能需要在防火墙中允许 Ollama 服务的端口(默认为 11434),具体取决于你的操作系统和网络环境。为避免安全风险,请不要将 Ollama 服务暴露在公共网络中。家庭 Wifi 网络是一个相对安全的环境。Ollama 服务的 IP 地址是你电脑在当前网络中的地址,通常形式如下。

运维&陈同学的博客 23万+

T型三电平关管顺序要求

摘要: T型三电平拓扑中,IGBT关断必须遵循“外管先关、内管后关”的时序,否则易导致器件损坏。正常导通时,外管与内管共同分担电压;正确关断时,外管先关使电流经内管续流至中点,避免电压过冲;若内管先关,电流路径被强制切断,杂散电感引发高压尖峰击穿器件。这一时序本质是为电流提供低应力续流路径,需通过硬件或软件严格保障。

yun0804的博客 2385

GPU八卡A100使用INT4-W4A16量化大模型实验

本实验旨在探索在环境下,对大语言模型进行权重量化的可行性、效率与性能影响。通过采用工具集成 GPTQ 算法,实现对所有线性层的权重量化(W4A16 方案最终通过lm-eval工具在GSM8K任务上对压缩模型进行评估。

goodgood_UP的博客 1910

压测篇 | Ollama+Nginx+4090打造DeepSeek-R1-32B高可用大模型集群,助力企业拥抱AI时代

今年是系列模型深入千行百业,助力企业全面拥抱的关键一年!在下,采用方案至关重要,大模型推理是计算密集型任务,所以每个用户任务采用单线程处理,这就使推理性能和并发能力受到了限制。

m0_59235245的博客 1829

ARCGIS绘制全国各省PM2.5浓度图操作步骤

ArcGIS新手小白一枚,经常需要帮助老师绘制一些简单的空间图,利用ArcGIS绘制全国各省的pm2.5浓度图,简单又方便,不记下来会忘记~

weixin_43458484的博客 1万+

三步实现【DeepSeek】本地部署,告别服务器崩溃的烦恼!

近年来,国产大模型DeepSeek备受关注,但随着用户访问量激增,频繁出现响应缓慢甚至系统宕机的现象,给使用者带来了一些不便。幸运的是,DeepSeek作为开源模型,允许开发者通过本地部署来解决这一问题。将模型部署到本地后,用户无需依赖网络即可随时进行推理操作,不仅提升了使用体验,还大幅降低了对外部服务的依赖。三步实现【DeepSeek】本地部署,告别服务器崩溃的烦恼!1、安装ollama;2、下载deepSeek模型;3、下载可视化ai工具;

花儿小新♥ 5万+

别再只仿真原理图了!用ADS做微带功分器,版图仿真这一步才是关键

本文深入探讨了使用ADS进行微带功分器设计时版图仿真的重要性,指出原理图仿真与版图仿真的本质差异及其对性能的影响。通过详细分析版图效应、关键设置和优化策略,帮助工程师避免常见陷阱,提升设计效率和准确性。文章特别强调了版图仿真在确保微波电路性能中的关键作用。

weixin_42561476的博客 415

银河麒麟系统完美安装EasyConnect

Kylin V10桌面版完美安装EasyConnect

weixin_53874797的博客 1万+

一文玩转本地化部署DeepSeek!

本文将详细介绍如何本地化部署DeepSeek,并应用于生活和工作。在大多数情况下,优先推荐官网chat或者官网API调用,效果更佳。本文的主要面向场景在于:免费、稳定、高效且隐私安全。

huang9604的博客 1万+

群晖NAS从入门到精通的所有帖子汇总,只要这一篇就够了

本站陆陆续续的转载、原创帖子也有十几二十篇了,从不同的角度对群晖NAS的各种骚操作都有深入的讲解,虽然很多文章都不是讲的很深入,但是针对小白入门已经是足够了,希望对小白来说是一个入门,群晖NAS的大佬们勿喷,哪里写的不对的,请随时留言西安SEO优化站长一定在第一时间纠正修改。

西安SEO优化网站资源 8万+

DeepSeek本地化部署:3步搞定,让你的AI体验更稳定

通过本地化部署,用户可以在自己的设备上运行DeepSeek模型,无需依赖外部网络连接,从而实现更稳定、更可靠的使用体验。

2301_81888214的博客 3万+

Mathematica 训练课(12)常用注释方法

Mathematica从入门到进阶

qq_25018077的博客 9075

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

DeepSeek-R1本地部署,再也不怕宕机,还有语音功能!

最近国产大模型DeepSeek特别火,以至于频繁出现反应迟缓甚至宕机的情况,和两年多之前ChatGPT的遭遇颇为相似。万幸,DeepSeek是一个开源模型,我们大可以通过本地部署,在自己的终端上随时使用!接下来就教大家具体的操作:**一、用Ollama下载模型**首先我们需要安装Ollama,它可以在本地运行和管理大模型。

2401_84204207的博客 7万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

AI大模型-800字讲明白

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;在未来,随着硬件、算法和应用的不断进步,大模型有望为人类社会带来更多的福祉。

2401_84204413的博客 2202

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

DeepSeek 本地部署详细教程,小白也能轻松搞定!

DeepSeek 作为国产开源大模型,近期因在线服务压力过大,本地部署需求激增。本教程将结合全网优质资源,手把手教你完成从环境配置到交互界面搭建的全流程,即使是零基础用户也能轻松掌握。

qq_20890935的博客 5万+

DeepSeek本地化部署全攻略,轻松拥有专属 AI 助手

可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。2.页面下拉,根据自己电脑的配置选择合适的参数规模(7b 代表 70 亿参数,14b 代表 140 亿参数,参数越多,模型越大,效果理论上也会更好,但对电脑配置要求也更高),然后复制对应的下载命令。观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

zhishi0000的博客 9701

无需GPU!三步实现DeepSeek开源模型本地化部署。

deepseek和chatGpt最大的区别就在于,它是开源的模型,并且训练成本更低,这使得我们普通人也能够在自己的电脑部署大语言模型,训练自己的AI智能体。我们需要谨记的就是,AI是工具,是为了提高我们的效率,它能够给我们提供更精确,更具逻辑的回答,你再根据自身的需求进行修改和采用。最近Deepseek访问量剧增,导致App时常访问不了,但是不用担心,官方给我们提供了本地部署大模型的方案。

m0_48891301的博客 2万+

这怕是全网最强最简单的DeepSeek 本地化部署教程吧,赶紧收藏了!

DeepSeek持续爆火,估计有很多同学跟我一样一直在探索或者甚至到了深度的使用。但这些天我已经被「服务器繁忙,请稍后再试」搞得一点脾气没有了。作为一个前程序员,怎么能忍受呢?!于是,今天我花了一上午时间,直接在自己电脑本地上部署了DeepSeek-R1。下面是我记录本次部署的全过程,相信但凡你有一点点电脑使用经验,按着我这大白话的教程,只要三步,都能完成自己的AI本地化部署。注意:这里是两个“l”。进来之后是可以看到如下这样的一个界面,如果你没有看到的话,可能你进入错了。

python12345_的博客 3万+

deepseek部署在本地详细教程

最近,DeepSeek爆火,先进的算法、卓越的能力,表现出众,其凭一己之力推动国内Ai大模型跨越式发展。作为一款现象级的Ai产品,用户量暴增,最近服务器又被攻击,使用DeepSeek,经常出现服务器繁忙,将DeepSeek部署在本地电脑就方便很多。将DeepSeek部署在本地电脑,只需三步即可完成。

java程序员的蜕变之路 1万+

DeepSeek本地部署(局域网+异地访问)数据库(保姆教程)

前面三个篇幅介绍本地部署DeepSeek+数据库及联网搜索的方法,后台又收到新的需求,“通过局域网或异地公网访问本地部署的DeepSeek+数据库”, 这是一个常见的场景,我也有用到,本次将整理分享配置“局域网或异地公网”访问的方法!DeepSeek本地部署全攻略:局域网共享+远程访问一体化方案【项目概述】关于DeepSeek 本地化部署、搭建个人知识库(资料库)、联网搜索及本地化可视化管理。共分享了三套部署方案。这一篇着重介绍了局域网访问及异地公网访问本地DeepSeek知识库的方法。

2401_85343303的博客 2万+

小白都能看懂,deepseek本地部署教程_linux部署deepseek

今天给大家分享deepseek的本地部署教程 一、部署Ollama(多平台选择安装) Ollama 支持 Linux/macOS/Windows,需根据系统选择安装方式。 1. Linux 系统部署 适用系统:Ubuntu/Debian/CentOS 等

lyy2017175913的博客 4823
上一篇: 如何使用 Ollama和DeepSeek R1搭建RAG系统?
下一篇: 教你本地复现Deep Research:DeepSeek R1+ LangChain+Milvus
冻感糕人~
博客等级 码龄3年 8926粉丝 2398原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值