借由Deepseek的爆火,本文将介绍如何快速的在本地部署大语言模型,并且在.NET程序中调用进行对话。
TL;DR 通过Ollama部署大模型后再使用微软AI扩展对话访问
1. Ollama的安装与使用
Ollama是一个大语言模型的运行工具/平台,能够方便的在本地部署各种LLM,包括但不限于Deepseek, Phi, Llama等
Ollama官网:https://ollama.com/
下载想要使用的平台,个人更推荐在WSL(windows的linux子系统)中使用

下载安装完之后,可以点击右上角的Models,

可以看到网站列出了我们可用的模型,以deepseek为例,点击进入后选择我们想要运行的模型

可以看到右边提供了一条指令,复制后备用。
打开 命令行/powershell, 粘贴运行,(如果是第一次使用,会需要一定时间拉取模型),成功运行后便可直接对话

最低0.47元/天 解锁文章
1186

被折叠的 条评论
为什么被折叠?



