大模型部署

大模型部署(deepseek)

ps ：本人使用的是wsl2（window10以上版本），使用ubuntu（一款linux系统），然后在ubuntu上使用ollama（开源的本地大语言模型运行框架）运行大模型

此图是一个基本的部署架构图

wsl部署

下载安装后重启、

安装Ubuntu

下载安装后打开，进行用户的创建

创建完成后会出现如下界面

安装window terminal

因为ubuntu的终端窗口不好用，所以使用window的终端窗口

下载安装后，从下三角中找到Ubuntu，打开即可

验证cuda是否可用

ps：cuda只有英伟达的显卡才有，是一个GPU加速计算的功能

安装ollama

linux系统支持一键安装，但是因为网络问题很容易失败，所以使用手动安装，通过以下地址下载ollama安装包（一定要记住安装的路径）

解压下载的ollama安装包，注意先完成ps的操作，再进行解压操作

运行以下命令，注意第四步，要使用linux系统的文件编辑系统

使用PyCharm连接wsl

从文件目录中找到远程开发

提前在linux系统中创建好工程文件夹，然后在此处选择好

确认一下路径是否为linux路径

创建一个代码然后执行，如果为以下结果 ，那么就配置成功了