内网本地部署deepseek模型（ollama+deepseek)，并建立本地知识库（一）

已于 2025-02-18 21:20:01 修改
阅读量4.5k 收藏 56
点赞数 39
文章标签： python 人工智能 神经网络 语言模型
于 2025-02-11 21:51:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41748450/article/details/145580521
版权

你们单位可能有些数据比较机密，比较敏感，不能连接互联网。但又想用LLM（Large Language Model 大语言模型）来提高工作效率，这个时候你可以利用ollama在内网本地部署LLM来实现。本文以部署deepseek为例。

大家可以先在自己电脑上用虚拟机部署好，再用U盘或或者光盘把虚拟机文件复制到内网去。也可以直接把安装文件和模型文件复制到内网再安装和配置。

一、使用ollama部署本地LLM模型

1、安装设置ollama

1、官网https://ollama.com/下载自已电脑对应的ollama 版本。


直接下载 可能报错，最好用迅雷或其它下载工具下载。

安装比较简单，直接点击下载好的OllamaSetup.exe文件下一步下一步就好。
装好后，软件会自动启动
以windows系统为例
win+R ->cmd 打开终端输入

ollama -v

如下图显示ollama版本即表示安装成功。

2、环境变量设置 windows 电脑

模型文件默认放在**C:\Users\（你电脑的登录用户）.ollama\models这个目录下，如我的电脑为C:\Users\tt.ollama\models。这样很容易造成C盘空间不足，若想更换模型文件位置需要设置系统环境变量。

设置->系统->系统信息
在这里插入图片描述

选择高级系统设置
在这里插入图片描述
选择环境变量->选择新建
在这里插入图片描述
这两个新建都可以
按下图新建一个OLLAMA_MODELS的环境变量，变量值就是你有模型文件放置的位置
在这里插入图片描述
然后重启电脑ollama设置就会生效了。

2、

2、下载模型

可以选择两种方法。

1、第一种是直接用ollama下载。可以按官网https://www.ollama.com/library/deepseek-r1的命令直接下载对应版本的deepseek即可？

在这里插入图片描述
右侧为模型文件大小，模型文件是放在显存或者内存里运行的，所以模型文件大小不要超过你电脑的显存或者内存的50%。如8g显存，可以选择7b或8b版本，集成显卡的可以选择1.5b版本，选择14b版本可能会跑不动，你大可动手一试。具体情况因个人电脑而异。1.5b为参数数量，数字越大参数越多，deepseek越聪明。
这里我以1.5b版本为例。

ollama run deepseek-r1:1.5b

然后ollama便会开始下载模型。
下载好后，通过以下命令查看已安装好的模型。

ollama list

查看已经安装好的模型
在这里插入图片描述
下载速度开始很快，后面会慢到几十K甚至几K，这里下载模型文件推荐另一种方法。

2.魔搭社区下载deepseek.gguf模型文件。

先进入阿里的魔搭社区，点击模型库，魔搭社区，模型很多，可以直接在搜索栏里搜索***deepseek guff***
在这里插入图片描述
选择一个适合自己电脑的模型文件下载
比如选择第一个点开
在这里插入图片描述
这里的gguf文件都可以下载，而且速度很快，文件越大，精度越高，越聪明，电脑也运行越吃力。
将文件下载后，复制到刚才环境变量里设置的***OLLAMA_MODELS***文件夹下，我这里是***D:\AImodels***

3、创建模型

1、进入你的OLLAMA_MODELS文件夹，我这里是D:\AImodel，创建Modelfile文件，新建一个记事本文件，并打开，文件中写入下面内容
FROM D:\AImodel\DeepSeek-R1-Distill-Qwen-1.5B.gguf

然后再去掉文件的.txt后缀名!!!!!!!

2、在D:\AImodel文件夹 下输入cmd 命令ollama create （这里填你下载的模型名字，记得名字要和Modelfile里的文件名一致） -f Modelfile如下图

在这里插入图片描述
如上图所示表示模型安装成功
也可以使用命令 ollama list查看安装的模型

ollama list

查询结果如下图所示
在这里插入图片描述

4、运行模型

使用***ollama run (模型名)*** 运行模型，模型名比较长的，可以先打个ollama list再复制即可

ollama run DeepSeek-R1-Distill-Qwen-1.5B:latest

如下图所示，模型开始运行，LLM本地部署成功。
在这里插入图片描述
未完待续…

一等一焱
关注
DeepSeek服务器挤爆了 教你一招解决——Ollama 本地部署DeepSeek
02-07 5437
蒸馏版本本地化部署的意义在于，可以免费使用个人电脑算力进行逻辑推理。而且，蒸馏模型相对于教师模型，是一个体积缩小60% 到80%、推理速度提升3~5倍，同时保留90%+原模型性能的轻量级模型。在 AI 应用高算力、堆硬件需求的当今而言，有多么宝贵！蒸馏模型的应用场景移动端应用：将百亿参数模型（如GPT-3、PaLM）蒸馏为适用于移动端的小模型（如Hugging Face的DistilGPT-2）。低延迟推理：在边缘设备（如手机、IoT）部署轻量蒸馏模型，满足实时性需求（如实时翻译、自动驾驶感知）。
DeepSeek R1，基于局域网AI模型部署与企业内网实施方案
dayawoai的博客
01-29 8767
DeepSeek R1， 科研企业\研发，内部局域网AI编程辅助
人工智能-大模型-基于大模型的企业内部知识库和工具流系统，web界面，完全局域网内网部署（外网隔离）
10-21
基于大模型的企业内部知识库和工具流系统，web界面，完全局域网内网部署（外网隔离） 对于本项目，或者说该类型的应用场景，应该着眼于如下三个方面的深入开发： 1、文档智能 —— 更加智能的处理各种类型文档，尤其是复杂文档的ocr、layout解析等。本项目代码仓对应 backend/scholar/document process 2、RAG —— 不过这一块有很多优秀的开源项目，学术界目前进展也很蓬勃。本项目代码仓对应 backend/scholar 以上两块其实我理解行业会不断涌现出优秀的作业，大家借鉴就好，但第三点可能是需要致力于这个业务方向的同学特别思考的 3、符合信创要求的llm本地部署和加速方案 —— 有外网隔离要求的业务场景大部分可能都是国企、政务了，“信创”要求是早晚躲不过的……这方面我个人认为应该特别关注基于arm架构的cpp迁移方案，目前行业内也有不少开源方案可供参考。
内网AI知识库构建：DeepSeek离线部署全攻略，涵盖国产化适配与安全加固
02-19
内容概要：本文是一份详尽的DeepSeek内网部署指南，涵盖从离线资源准备、环境部署、数据导入直至权限管理的具体步骤。文中针对政企单位等内部网络环境的特点与需求进行了全面优化，旨在帮助用户建立安全高效的AI知识库，重点强调了国产化适配的支持和高安全性保障措施。离线资源部分提供了包括模型、Ollama安装包、客户端及其他相关工具的获取途径，并详细介绍导入方法。环境部署方面，支持多操作系统（Windows、Linux和macOS）部署方式。文中同时介绍了两种实现Retrieval-Augmented Generation (RAG)的方法，其中一种特别适合新手使用，通过Cherry Studio简化数据馈送过程。 适用人群：具有基本计算机操作技能，尤其适用于在企业内部网络或政府机构工作的IT运维人员及有一定技术基础的技术爱好者。 使用场景及目标：此文档的目标是在没有互联网接入的情况下，协助用户顺利地将最新的AI技术引入本地系统。它不仅可以作为教学手册引导初学者逐步掌握复杂的软硬件配置技巧，还能为已有相关经验的专业人士提供宝贵的参考资料，用于解决可能出现的技术难题和安全顾虑。
Ollama部署deepseek模型
wgx_0504的博客
02-06 2096
如果想要在本地运行 DeepSeek 需要用到 Ollama 这个工具，这是一个开源的本地大模型运行工具。我们可以访问 https://ollama.com/ 进入 Ollama 官网下载 Ollama。下载时有三个系统的安装包可选择，这里只需要选择下载我们电脑对应的操作系统版本即可。选择参数规模【1.5b】，相对较小的模型，适合资源有限的环境，或者在任务比较简单。首次运行会自动下载模型，下载完成后，可以直接进行对话。下载时可能掉线，再次输入指令重新运行即可继续下载。再次运行可以直接进行对话，指令相同。
Windows系统Deepseek大模型本地及内网跨设备调用指南
02-28
内容概要：本文档主要介绍在Windows环境下Deepseek大模型的两种调用方法，一是直接利用CMD命令行本地调用已部署的大模型，二是借助第三方开源工具（比如Cherry Studio、Chatbox）通过设定本地API地址实现调用。对于内网环境中的多设备间互访，则需要开放相应的Windows防火墙端口，并修改连接设备所使用的API地址为目标设备的实际内网IP加固定的端口号。同时，详细记录了具体配置参数，例如调用的HTTP接口地址为'http://127.0.0.1:11434'，并在实际操作案例截图中标记出关键操作界面元素。此外，针对跨设备调用场景，明确指出必须确保各台计算机之间的网络连通状况正常。 适用人群：适用于有一定计算机网络基础知识并对Deepseek大模型有兴趣的应用开发者或者IT工程师。 使用场景及目标：当用户希望在同一局域网内的多个终端之间快速便捷地共享并使用同一份大型预训练语言模型资源时可以参照此文档完成从单点到全局的服务扩展；同时也可以作为学习资料辅助相关人员熟悉相关技术和操作流程。 其他说明：注意文中部分界面展示图片可能因软件更新迭代而略有不同，但整体布局不变，
DeepSeek本地部署（局域网+异地访问）数据库（保姆教程）
2401_85343303的博客
03-02 7832
前面三个篇幅介绍本地部署DeepSeek+数据库及联网搜索的方法，后台又收到新的需求，“通过局域网或异地公网访问本地部署的DeepSeek+数据库”， 这是一个常见的场景，我也有用到，本次将整理分享配置“局域网或异地公网”访问的方法！DeepSeek本地部署全攻略：局域网共享+远程访问一体化方案【项目概述】关于DeepSeek 本地化部署、搭建个人知识库（资料库）、联网搜索及本地化可视化管理。共分享了三套部署方案。这一篇着重介绍了局域网访问及异地公网访问本地DeepSeek知识库的方法。
DeepSeek局域网部署
cheng219101的专栏
02-06 6071
本地部署的教程很多，安装在本地都会用到ollama，网页上使用的方案有多种，包括：Chatbox、docker+Open WebUI等，这些坑我踩过了，本地部署本地访问可行，修改成目标IP后无法获取到模型选项。在deepseek的热潮下，本地部署有很多教程了，我这里细化一下，重点讲下在一台电脑上部署，局域网下的电脑都能够使用。总结：可视化界面请使用page-assist扩展。
deepseek本地部署全网最简教程
huang9604的博客
02-04 5432
随着人工智能技术的飞速发展，大语言模型（Large Language Models, LLMs）逐渐从云端走向本地，为开发者、研究者和技术爱好者提供了更灵活、更私密的应用可能。国产DeepSeek 作为一款高效且功能强大的开源大模型，凭借其毫不逊色于Chatgpt的推理能力和对中文场景的深度适配，成为许多用户探索本地智能化的首选工具。
Deepseek本地部署详细指南！从 Ollama 到个人知识库应用
2401_85375186的博客
02-10 2062
通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。在配置 url 时，因为是 docker 服务，http://localhost:11434 存在无法访问的情况，可以尝试http://host.docker.internal:11434。访问https://ollama.com/library/deepseek-r1，默认为 7b 模型，如需其他模型，可以在当前页搜索所需模型。：智能制造和自动化工厂提高了生产效率和质量。
DeepSeek部署教程(基于Ollama)
老薛的专栏
01-29 6961
这几天科技圈最火的莫过于deepseek，我抽空也学习一下deepseek的离线部署。1、下载Ollama并安装下载好后双击直接运行。2、安装deepseek依据自己的电脑配置，来决定安装deepseek模型的哪个版本。我家里的电脑还是集成显卡，因此我选择了硬件配置需求最低的1.5B,，让家里的老电脑也发挥一下余热。
DeepSeek内网部署“保姆级”教程：离线安装+国产化适配+数据投喂+安全加固
02-28
内容概要：本文详细介绍了如何在内网环境中安全、高效地部署大型语言模型 DeepSeek（LLM）。主要内容涵盖四个重要方面：安装配置Ollama及相关工具、多客户端集成、安全加固以及常见问题解决。首先，明确硬件和软件的需求，包括高性能GPU和足够大的内存等；其次，逐步指导Ollama在不同操作系统上的安装方法及其关键环境变量配置；再者，列举了几款常用的多客户端集成方式，像 Lmstudio、Chatbox、Cherry-Studio 和 Lobe Chat，并对每个产品的特点进行了简析；接着重点讨论了内部网络安全保护措施，涉及网络隔离、访问控制、模型安全保障及数据防护机制等多个维度；最后，针对部署过程中可能出现的问题提供了详细的排查思路和技术支持方案。 适合人群：具备一定IT基础知识，尤其是对于有兴趣在内部网络中部署大模型的研究员、开发者或者企业技术人员来说非常实用。 使用场景及目标：①帮助个人或企业在内部环境下快速完成 DeepSeek 部署，满足对自然语言处理的需求；②确保内部网络的安全性和私密性不受外界干扰，适用于金融、医疗等高度敏感行业的应用开发。
【DeepSeek】DeepSeek R1 本地部署（Ollama+Docker+OpenWebUI）
通往成功之路的一个过客
02-11 1785
如果您遇到连接问题，通常是由于 WebUI docker 容器无法访问容器内 127.0.0.1:11434 (host.docker.internal:11434) 处的 Ollama 服务器。我的电脑是21款 MacBookPro M1 Pro，运行内存16G，显卡是集成显卡，与内存共用同一内存，下载的模型是DeepSeek-R1 8B，后面内存开销很多，导致电脑变卡，可能需要重启,后面下载1.5b 版本，会好很多。根据自己的显存选择对应的模型，2G显卡推荐选1.5b的。打开终端，输入刚复制的命令。
零基础使用Ollama+Anythingllm在离线电脑上本地部署deepseek及私有知识库
xichuyang的博客
02-21 1030
离线电脑上部署deepseek
Windows本地部署DeepSeek-R1大模型并使用web界面远程交互
等风来
02-06 5514
最近爆火的国产AI大模型Deepseek详细大家都不陌生，不过除了在手机上安装APP或者官网在线体验，我们其实完全可以在自己的Windows电脑上本地进行部署，并结合cpolar内网穿透工具轻松实现远程交互，带来更方便快捷的体验。之前就和大家分享过本地运行 AI 模型具有很多优势，比如隐私安全：你的所有数据都保留在你自己的机器上，不存在共享敏感信息的风险。快速响应：官方及三方访问量过大，延迟非常高，造成卡顿，本地部署大模型可以避免这种情况。
DeepSeek私有化部署搭建、本地知识库、可联网查询RAG检索增强生成
hxbao的专栏
02-19 1695
以下为主界面功能介绍。选择好模型后即可开始对话。通过合理的RAG设置、知识库设置、提示词设置，可以将大模型AI训练成更符合自身需要、更加智能化的产品。相比于通用大模型更能满足私有、定制的需求。由于Cherry Studio、AnythingLLM在许多设置上与Page Assist相似，故下文将仅对软件主要设置进行介绍。
deepseek本地部署（在线、离线）、知识库搭建（个人、组织）与代码接入
热门推荐
weixin_46522694的博客
02-12 1万+
本文主要介绍deepSeek本地化容器化部署，知识库搭建与springAI接入。因笔者工作内容原因，也会介绍内网部署方式。
deepseek内网离线部署手册
最新发布
xionghui2007的博客
03-17 1085
deepseek，内网离线部署
DeepSeek本地部署（局域网+异地访问）数据库（保姆教程），建议收藏起来慢慢学！！
嘴巴吃糖了
03-03 1593
【项目概述】 关于DeepSeek 本地化部署、搭建个人知识库（资料库）、联网搜索及本地化可视化管理。共分享了三套部署方案。这一篇着重介绍了局域网访问及异地公网访问本地DeepSeek知识库的方法。
deepseek本地部署 从而内网实现IDEA代码生成，检查等
02-10
### DeepSeek在内网环境下的本地部署 为了实现在内网环境中通过本地部署DeepSeek来集成到IDEA进行代码生成和静态分析的功能，需要完成几个关键步骤。这些步骤涉及准备必要的硬件资源、安装依赖软件以及配置网络设置。 #### 准备工作 确保服务器具备足够的计算能力和存储空间以运行DeepSeek服务[^1]。通常情况下，官方文档会给出最低配置要求，建议遵循这些建议并适当增加冗余度以便更好地处理多并发请求。 #### 安装依赖项 按照官方指南下载并安装操作系统所需的包管理器和其他基础组件，比如Python解释器及其库文件等。对于Linux发行版而言，可以利用apt-get或yum命令行工具；而对于Windows Server，则可能需要用到Chocolatey这样的第三方程序源。 #### 获取DeepSeek镜像 由于目标是在完全隔离的内部网络里操作，因此必须提前在外网环境下获取最新的Docker镜像或者虚拟机模板，并将其安全传输至指定位置保存待用。如果企业有专门的数据交换机制（如U盘拷贝），则应遵照相应流程执行转移动作。 #### 部署过程 一旦所有前期准备工作就绪之后就可以正式开始搭建DeepSeek平台了： - **启动容器实例**：使用docker-compose.yml定义的服务描述符创建一个新的集群节点； ```yaml version: '3' services: deepseek-server: image: your_local_deepseek_image_tag ports: - "8080:80" environment: DEEPSEEK_API_KEY: YOUR_SECRET_KEY_HERE ``` - **调整防火墙策略**：允许来自特定IP地址范围内的访问权限给HTTP(S)端口(默认为80/443)，同时开放其他必要通信接口供后续扩展模块调用； - **初始化数据库结构**：首次上线前需导入预设模式表单，确保各业务逻辑层能够正常交互运作而不受数据缺失影响； - **验证API可用性**：借助Postman之类的RESTful客户端发起简单查询请求测试返回结果是否符合预期标准； - **对接IDE插件**：最后一步就是把上述构建好的微服务体系无缝衔接到JetBrains IntelliJ IDEA当中去了——即安装对应的Marketplace应用商店里的附加组件，并按提示指引完成最终绑定手续。 ```bash # 更新仓库索引 sudo apt update && sudo apt upgrade -y # 安装Docker CE sudo apt install docker-ce docker-ce-cli containerd.io -y # 启动并启用Docker守护进程 sudo systemctl start docker.service sudo systemctl enable docker.service # 下载离线版本的DeepSeek Docker镜像 docker pull registry.example.com/deepseek/latest # 将其标签重命名为便于识别的形式 docker tag registry.example.com/deepseek/latest localhost:5000/my-deepseek-image # 推送至私有的Registry中去 docker push localhost:5000/my-deepseek-image ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值