简易教程|使用Ollama在本地部署大语言模型(Ollama+Deepseek_R1+OpenWebUI)

目录

一、将Ollama安装到指定位置

二、部署安装大语言模型Deepseek_R1

1. 永久修改大模型默认部署位置

2. 选择相应大语言模型并下载

三、 通过Docker部署OpenWebUI

1. 拉取OpenWebUI项目镜像

2. 在Docker中运行该项目

3. 使用其他大模型进行测试


一、将Ollama安装到指定位置

1. 打开Ollama下载官网,根据自己的操作系统下载相应版本的安装文件。

2. 以管理员运行PowerShell或cmd,用cd命令切换工作路径至ollama安装包所在位置。

3. 输入以下命令运行安装包程序,其中path为已存在的绝对路径。

4. 执行该命令后出现安装界面,点击“Install”安装。

.\OllamaSetup.exe /DIR="path"
Ollama安装界面

5. 测试Ollama是否安装成功。在cmd中输入:

ollama -h

若出现如下图所示则说明Ollama安装成功。

二、部署安装大语言模型Deepseek_R1

1. 永久修改大模型默认部署位置

新建系统变量中的用户变量,变量名为OLLAMA_MODELS。

环境变量添加步骤

2. 选择相应大语言模型并下载

(1) 点击Ollama官网左上角“Models”。

(2) 点击相应的大语言模型。

(3) 根据自身需求选择部署的规模。

(4) 在cmd中粘贴上一步所复制的命令并运行,该语言模型开始下载,下载完成后显示如下。

至此,大语言模型部署完成,从此可通过“ollama run <语言模型名称>”命令运行后可通过命令行进行交互。

三、 通过Docker部署OpenWebUI

1. 拉取OpenWebUI项目镜像

打开docker,打开Terminal终端,输入并执行:

docker pull ghcr.io/open-webui/open-webui:main

等待其下载完成。

2. 在Docker中运行该项目

在运行该项目前请确保Ollama程序处于运行状态。

(1) 在Docker中的Terminal终端中输入并执行以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2) 打开浏览器,在地址栏输入http://localhost:3000/并打开,进行聊天测试。

在聊天界面的左上角选择当前在Ollama中运行的大语言模型。至此,大功告成!

3. 使用其他大模型进行测试

(deepseek-coder-v2:专用于代码生成)

perfect!

Ollama详细操作请参照Ollama中文文档

OpenWebUI详细操作请参照OpenWebUI官方文档

该教程不包括Docker拉取镜像失败的处理,请自行寻找解决方案。

内容概要:本文档详细介绍了 DEEP SEEK 的本地部署及其与私有知识库整合的具体步骤。主要包括两大部分:Ollama 平台的使用方法和 DeepSeek R1 模型的安装指导。Ollama 是一种能够便捷部署深度学习模型(尤其是大型语言模型)的工具,它支持多种操作系统并在命令行中执行相应操作以完成从下载、配置直至实际使用的全过程。文中针对不同硬件条件给出了具体配置推荐,并逐步讲解了从安装 Ollama 到运行特定大小版本 DeepSeek 模型(如 1.5b 至 70b),再到设置 API 键连接云端服务以及最后利用 Cherry Studio 构建个人专属的知识库的一系列操作指南。同时附上了多个辅助资源如视频教程、在线演示平台链接以便更好地理解和学习整个过程。 适合人群:适合有一定技术背景且想探索本地部署人工智能模型的初学者或是希望通过本地部署提高效率的研发团队。 使用场景及目标:一是帮助用户了解并掌握在本地环境中配置高性能 AI 工具的全流程操作;二是使用户能够根据自己拥有的计算资源情况合理挑选合适的模型大小;三是通过集成私有知识库为企业内部提供定制化的问答或咨询系统,保护敏感数据不受公开访问威胁。 其他说明:考虑到安全性和稳定性因素,作者还提供了应对潜在风险如遭遇网络攻击时选用可靠替代源——硅基流动性 API 来保障服务持续稳定运作,并强调在整个实施过程中应谨慎处理个人信息及企业关键资产以防泄露事件发生。此外,提到对于更高级的功能例如基于 Ollama 实现本地知识库还有待进一步探讨和发展。
内容概要:本文介绍了 DeepSeek 团队研发的第一个基于强化学习(RL)的语言模型——DeepSeek-R1-Zero 和其升级版本 DeepSeek-R1DeepSeek-R1-Zero 使用纯RL方式训练,在多项推理任务上展现卓越能力,解决了无需初阶段监督微调的问题。但是,DeepSeek-R1-Zero 面临表达可读性和语言混淆等挑战。为此,DeepSeek 团队进一步引入带有高质量数据作为冷启动和迭代式的 RL 微调机制,从而产生了更具可解释性、高性能推理模型 DeepSeek-R1DeepSeek-R1 推理能力与 OpenAI 开发的相关推理模型相当,并成功地在多种推理密集型任务上展现了顶级性能,如编码和数学等领域。此外,文章还提出了 DeepSeek-R1 产生的知识传递至小型稠密模型的成功案例,进一步扩展了模型的适用范围。文中对模型性能做了详细评测,并展示了其在实际应用场景中取得的进步。 适合人群:对该主题感兴趣的机器学习研究人员、开发者以及希望提升语言模型推理性能的专业从业者,尤其对于希望通过纯RL路径提升语言模型人工智能研究人员。 使用场景及目标:DeepSeek-R1 主要适用于需要复杂推理的场景,如编码竞赛、数学问题解答、文档解析及其他高推理负载任务。通过模型提供的强大推理能力和可读性,可以帮助专业人员在这些领域内获得更好的效果。同时,在教育场景中的潜力巨大,有助于学生理解和解答问题。 其他说明:文章详细阐述了强化学习对模型推理性能的影响,揭示了未来通过大规模强化学习提升语言模型潜力的可能性。尽管存在如训练耗时长、需要大量资源等问题,但模型在性能上的飞跃显示出这种方法的巨大优势。未来的工作重点将是改善多轮对话、复杂角色扮演等任务中的性能,优化不同语境下的多语言支持,并增强在各类编程任务中的实用性。此外还将继续探索通过强化学习来改进模型,尤其是在软件工程方面应用的潜能。
评论 29
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值