【基于ollama本地搭建开源大模型（qwen、deepseek等）教程分享 - 新手教程】

最新推荐文章于 2025-06-18 11:25:30 发布
最新推荐文章于 2025-06-18 11:25:30 发布
阅读量701 收藏 14
点赞数 7
CC 4.0 BY-SA版权
文章标签： 人工智能 科技 语言模型 软件构建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CodeClimb/article/details/148132547

【基于ollama本地搭建开源大模型教程分享 - 新手教程】

  • 精细化操作教程，助力新手快速上手，按照教程即可体验，快速搭建一个本地大模型

  • 本次演示时使用最小的模型，可以根据自己的电脑配置，灵活调整合适的模型以及体量参数

  • 注意：从小体量开始，新手容易陷入配置误区，还没有了解和学习就先买设备

  • 先了解、体验 ，后期根据自己的需求再考虑硬件的升级

准备工作

一、下载软件及模型

1、电脑配置

  • 手头有什么配置的电脑可以先用，只要电脑配置不是特别古老，一般最小体量的模型还是可以搭建感受一下的
  • 实在不知道怎么看的初学者或者爱好者，可以直接把电脑配置丢给 通义千问、豆包、deepseek等，让他们给一个建议做个参考

2、软件准备

  • ollama
anythingllm

3、下载安装ollama

  • 下载网址：

    https://ollama.com/

    访问网址，按照图片进行操作

在这里插入图片描述

选择适合自己的操作系统

在这里插入图片描述

下载好后直接双击安装，ollama默认的安装位置是c盘

  • 在这里插入图片描述

安装以后，电脑右下角会有一个“羊驼”类的一个图标

键盘上快键键 Windows + R , 输入cmd 调出dos窗口， 输入以下命令

  • ollama -v

    有版本显示则安装成功
    在这里插入图片描述

4、下载模型

  • 回到ollama官网

  • 点击Modes，选择不同的开源模型

  • 在这里插入图片描述

  • 选择想要的模型（这里以qwen2.5为例）

  • 在这里插入图片描述

-在这里插入图片描述

复制命令：

  • ollama run qwen2.5:1.5b

  • 直接在刚才的dos窗口中运行

  • 在这里插入图片描述

  • 等待安装完成，如图，即可进行简单的对话了

  • 在这里插入图片描述

  • 在这里插入图片描述

特别注意：

  • 模型及参数的选择不要一味的求大，很吃电脑的配置，可以先从小参数开始尝试！

参考：（deepseek-r1）

  • 其他的模型的安装流程都和上面的流程一样

  • dos窗口 cmd
    换为你要安装的模型对应参数指令

    ollama run deepseek-r1:1.5b

  • 例如：deepseek

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

5、终止聊天命令

  • Ctrl键 + C 即可实时终止聊天

二、安装对话界面软件

1、安装anythingllm

  • 上述安装完成后其实已经可以简单的对话了，只是dos界面看起来不够美观只能临时存储对话！

  • 接下来安装一个和其他模型对话界面相似的软件，这里用的是anythingllm

  • https://anythingllm.com/

  • 在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

2、配置

在这里插入图片描述

3、设置工作区

在这里插入图片描述

4、设置模型

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

5、至此 简单的配置完成

三、删除指定模型

1、查看模型

  • 打开dos窗口，方式和之前的操作教程一样，输入下面的命令
ollama list

在这里插入图片描述

2、删除模型

  • 通过命令，删除指定的模型，格式为ollama rm （指定模型）
ollama rm qwen3:8b

在这里插入图片描述

  • 即可删除指定的模型

四、anythingllm其他操作

  • 当我们删除指定的模型后，在anythingllm有时候无法做到实时更新，大家可以手动操作更新设置里面的模型选择，或者删除工作区，重新配置、
【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：基于vLLM 搭建高性能推理服务器
寻道AI，探索AI无限可能！
03-21 3662
大语言模型的落地应用离不开高效推理框架的支持，vLLM以其卓越的性能在众多框架中脱颖而出。本文将带你深入探索如何使用vLLM框架部署DeepSeek-R1-Distill-Qwen大语言模型，无论是深度学习新手还是有经验的开发者，都能从中获取实用的知识和技能。# 创建采样参数。temperature 控制生成文本的多样性，top_p 控制核心采样的概率# 初始化 vLLM 推理引擎# 初始化 vLLM 推理引擎。
【DeepSeek开发实战】DeepSeek-R1-Distill-Qwen与LangChain的本地大模型应用开发指南
寻道AI，探索AI无限可能！
03-25 1286
在大模型应用开发的浪潮中，将强大的大语言模型与灵活的开发框架相结合，能为开发者开启无限可能。本文将详细阐述如何基于DeepSeek-R1-Distill-Qwen大模型与LangChain框架进行本地大模型应用开发，从基础环境搭建到实际应用演示，为你提供全面且深入的指导。无论你是想探索大模型应用开发的新手，还是寻求优化现有项目的资深开发者，都能在本文中找到有价值的内容。
windows使用ollama部署deepseek及qwen
Java晋升
05-19 479
ollma默认是安装到本地的C:\Users\用户名\AppData\Local\Programs下的，对于C盘容量较小的用户非常不友好，推荐使用下面的方式，更改ollma的安装路径。在ollama官方文档中，我们可以看到ollama是支持deepseek满血版及更多的蒸馏模型的，这里因为我的笔记本显存有限，所以先选择了deepseek-r1:1.5b。在设置环境变量后，需要对电脑进行重启，或者重启ollama，不然配置不会生效。不过这里要提到的是，ollama一般都是个人验证使用，企业一般使用VLLM。
本地部署DeepSeek-R1模型（新手保姆教程）
热门推荐
weixin_46277779的博客
02-03 4万+
本地部署deepseek-r1模型调用，新手保姆教程，无需代理
新手必看| 2025年Deepseek一站式本地配置，直接搭建（Windows11）
陈健平的博客
02-05 1万+
Ollama 是一个开源框架，专门设计用于在本地运行大型语言模型（LLMs）。LM Studio 是一款桌面应用程序，专为那些希望拥有图形用户界面（GUI）而非命令行界面（CLI）的用户提供服务。
ollama v0.6.7 开始支持 qwen3
m0_63171455的博客
05-13 629
qwen3在五一前已经发布，当时 ollama 版本还不支持。当前 ollama 最新版为 v0.6.8，并且从 v0.6.7 开始支持qwen3。一直在使用 ollama 跑模型，中间尝试换成 vLLM。但 vLLM 安装太麻烦了，python 依赖太多，一直没有安装成功。晚点再尝试，当前先用 ollama 把模型跑起来。目前 Qwen3 可用的模型有9个，可以根据自己的机器配置选择合适的模型。目前我们这边分别选择了 qwen3:32b 和 qwen3:235b-a22b 这两款模型。
0代码！2种方式一键部署 DeepSeek 系列模型，AI大模型零基础入门到精通实战教程！
白帽阿叁的博客
02-26 860
DeepSeek 凭借其卓越的性能和广泛的应用场景，迅速在全球范围内获得了极高的关注度和广泛的用户基础。DeepSeek-R1-Distill 是使用 DeepSeek-R1 生成的样本对开源模型进行蒸馏得到的小模型，拥有更小参数规模，推理成本更低，基准测试同样表现出色。本方案以 DeepSeek-R1-Distill-Qwen-7B-GGUF 模型为例，介绍如何部署 DeepSeek-R1 开源模型。通过函数计算FC，以及云原生应用开发平台 CAP体验部署～
DeepSeek-R1模型全解析：从1.5B到671B，硬件需求与适用场景详解
m0_65555479的博客
02-27 2660
DeepSeek-R1的本地化部署并非“参数越高越好”，而是需在性能、成本、场景需求间找到平衡点。个人用户可从1.5B模型入手，通过Ollama快速体验；中小企业推荐14B-32B量化版，兼顾精度与成本；而满血版671B则是国家级项目的“重器”。未来，随着MoE架构和芯片制程的进步，AI本地化门槛将进一步降低，全民智算时代或将触手可及。
【windows】【保姆级教程】3步搞定DeepSeek本地部署
hao_kkkkk的专栏
02-14 1289
DeepSeek在2025年春节期间突然爆火出圈，推出了自研的千亿参数级大模型DeepSeek-R1，具备多模态理解、复杂推理和持续学习能力，支持长上下文处理（最高128K tokens）。但是在目前DeepSeek的网站中，极不稳定，总是服务器繁忙。这时候本地部署就可以有效规避问题。这里就要说到几个的使用途径,包括很多大模型的使用途径，都可以分为以下几种:首先你要搞清楚这三种使用方式的区别是什么,才能知道为什么需要本都去部署一个大模型的好处！这种方式也是很多人使用大模型的方式，就跟当初的差不多!网页版的使
7、模型微调入门&&如何面对不断更新的大模型
孤独的糖三角
02-11 1078
前面讲 RAG 时，我们说过，它本质上是让大模型知道更多的东西，尤其是属于你自己业务领域的东西。当时我们就说，RAG 只是其中的一种选择，还有另外一种选择，就是模型微调。这一讲，我们就来使用llamafactory对qwen2.5:3b进行模型微调，然后ollama调用微调后的模型。再未来，我们会更深入的对微调进行研究。
DeepSeek 模型部署与使用技术评测（基于阿里云零门槛解决方案）
乘风之行
02-12 3230
Ollama 负责托管 lmstudio-community/DeepSeek-R1-Distill-Qwen-7B-GGUF 模型，它是基于 DeepSeek-R1 的推理能力，通过蒸馏技术将推理模式迁移到较小的 Qwen 模型上，从而在保持高效性能的同时降低了计算成本。按照本方案提供的配置完成部署后，会在阿里云上搭建一个如下图所示的运行环境。4.在弹出的部署面板中，部署方式选择**加速部署**，加速方式选择**vLLM**，资源规格选择**推荐使用GPU：ml.gu7i.c8m30.1-gu30**。
SHAP（夏普利加性解释，Shapley Additive Explanations）
qq_52810166的博客
06-16 1379
SHAP解释了模型预测与特征的关系，有助于透明化AI的决策过程。
OmniMeetProTrack 全维会议链智能追录系统——山东大学软件学院创新实训项目博客（六）
jinrissq的博客
06-15 1295
完整的项目博客介绍
【北京大学】DeepSeek在教育和学术领域的应用场景与案例（下）
最新发布
般若
06-18 1454
本文是对北京大学DeepSeek内部研讨系列《DeepSeek在教育和学术领域的应用场景与案例（下）》的总结和摘要，并提供相应的思维导图及报告PDF下载。
相关类可视化图像总结
2201_75563414的博客
06-15 1316
本文介绍了6种常见的数据相关性可视化方法：1）散点图用于分析两变量相关性；2）气泡图通过气泡大小展示三维数据；3）相关图用热力图形式呈现变量相关系数矩阵；4）热力图直观显示二维数据分布；5）二维密度图展示大数据量分布密度；6）平行坐标图可视化多维数据模式。每种方法均配有Python实现代码及应用场景说明，适用于不同维度和规模的数据相关性分析，帮助快速识别变量间关系模式。
Spring AI 与 SOFA AI：发展历程与核心技术解析
sadsasdsdsdasda的博客
06-17 1233
Spring AI 作为 Spring 官方推出的 AI 开发框架，凭借其简洁的 API 设计、强大的生态兼容性和良好的可扩展性，正在成为 Java 开发者构建 AI 应用的首选方案。特别是其对MCP 协议的支持模型增强能力和可观测性体系的建设，为构建企业级 AI 应用提供了坚实的基础。虽然 SOFA AI 在金融级场景下有着更成熟的落地经验，但 Spring AI 凭借开源社区的力量和 Spring 生态的强大影响力，正在快速追赶。
深度学习笔记
qq_65800683的博客
06-16 1060
本文介绍了使用Python实现K-Means聚类和数据降维(PCA)的方法。在聚类部分，通过sklearn生成模拟数据，训练K-Means模型将300个二维样本划分为3个簇，并可视化聚类结果和中心点。在降维部分，演示了用PCA将3维数据降至2维的过程，生成了包含3个类别的300个样本，通过主成分分析实现降维并绘制散点图展示降维效果。两种方法都使用了matplotlib进行结果可视化，包括设置图表标题、坐标轴标签、图例和网格线等细节。代码示例均给出了详细的逐行注释说明。
循环神经网络及其变体
2404_82622750的博客
06-15 353
【代码】循环神经网络及其变体。
ollama离线部署大模型DeepSeek-R1-Distill-Qwen-32B
02-25
### 如何离线部署 DeepSeek-R1-Distill-Qwen-32B 大模型 为了成功离线部署 DeepSeek-R1-Distill-Qwen-32B 模型，环境配置和资源准备至关重要。确保硬件满足最低需求，包括足够的 GPU 显存和支持 CUDA 的 NVIDIA 图形卡[^1]。 #### 准备工作 安装必要的依赖库对于顺利运行大模型非常重要。通常情况下，这涉及 Python 环境设置以及 PyTorch 或 TensorFlow 这样的深度学习框架的安装。具体到 DeepSeek-R1-Distill-Qwen-32B，推荐使用 Anaconda 创建独立的工作环境来管理包版本冲突问题： ```bash conda create -n deepseek_env python=3.9 conda activate deepseek_env pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 ``` #### 下载并加载预训练权重 由于目标是在没有互联网连接的情况下部署该模型，因此需要提前下载好所有的文件，并将其存储在一个可访问的位置。官方文档建议通过有网络连接的设备预先获取这些资源，之后再转移到目标环境中。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "path_to_offline_model_directory" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) ``` #### 配置推理服务 完成上述准备工作后，下一步就是构建一个能够接收请求并向用户提供响应的服务接口。Flask 是一种轻量级 Web 应用程序开发工具，非常适合用来快速搭建这样的 API 接口。 ```python from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/predict', methods=['POST']) def predict(): input_text = request.json.get('input') inputs = tokenizer(input_text, return_tensors="pt").to("cuda") outputs = model.generate(**inputs) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return jsonify({"output": result}) if __name__ == "__main__": app.run(host='0.0.0.0', port=5000) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CodeClimb

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值