Ollama+Docker部署本地的大模型

目录

1、Ollama

1.1、终端运行

1.2、Pycharm运行

1.3、Docker启动

1、Ollama

        Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。用户可以通过简单的安装指令，在本地运行开源大型语言模型。可以理解为一个类似于封装好大模型的平台。

网址：https://ollama.com/

针对自己的系统下载不同版本的软件，我的电脑是Windows的，所以下载Windows版本的，其实其它版本的也都一样，Ollama是不需要配置的，它其实是一个软件，在后台运行的一个程序。如下所示。

下载完后正常安装就行，路径什么的可以自己修改，也可以用默认的。安装完后Ollam是自动启动的，就像上图那样在后台运行着。