【AI技术】本地部署大模型

Ollama

官方网站

可以直接访问这里跳转到下载界面进行下载安装。

安装好以后，使用cmd打开控制台，运行命令来查看是否安装成功

ollama --version

访问https://ollama.com/search 可以去查看可以安装的模型 

找到想要的模型后复制运行命令到cmd中执行即可

Xinference

官方网站

安装

1、安装anaconda

2、运行命令创建conda环境

conda create --name xinference python=3.11 -c conda-forge
conda activate xinference