Ollama介绍

      Ollama是一个开源的可在本地启动并运行大语言模型的工具,提供命令行工具和Python SDK,简化了与其他项目和服务的集成,旨在帮助用户快速在本地运行大模型。它支持在Linux、Mac、Windows操作系统及Docker容器上运行。项目源码地址:https://github.com/ollama/ollama ,支持的模型库列表:https://ollama.com/library

      在Windows10上安装Ollama:现在Windows上运行Ollama不再需要WSL。Ollama现在作为原生Windows应用程序运行,包括NVIDIA和AMD GPU支持。Windows上安装Ollama后,Ollama将在后台运行,并且ollama命令行可在cmd、powershell及终端应用程序如Git Bash中使用。

      1.从https://github.com/ollama/ollama 下载OllamaSetup.exe;

      2.双击OllamaSetup.exe进行安装,会默认安装到C盘,这里将其安装到D:\ProgramFiles\ollama,打开cmd,执行以下命令:

OllamaSetup.exe /DIR="D:\ProgramFiles\ollama"

      3.执行命令"ollama  --version",验证是否成功安装;

      4.下载deepseek-r1,参数量为7B,执行命令"ollama run deepseek-r1",结果如下图所示:

      5.模型默认会下载到C:\Users\spring\.ollama目录下,其中spring为用户名,这里调整为下载到D:\ProgramFiles\ollama\models目录下,添加系统环境变量OLLAMA_MODELS,将其设置为D:\ProgramFiles\ollama\models,保存设置;

      6.注意:

      (1).Windows上的Ollama将文件存储在几个不同的位置。

      (2).如果从以前的版本升级Ollama,应先删除旧目录。

      (3).可通过Windows设置中的"添加或删除程序"卸载Ollama。

      (4).可通过设置环境变量OLLAMA_MODELS更改Ollama存储下载模型的位置。如果更改了OLLAMA_MODELS位置,安装程序将不会删除已下载的模型。

      加载deepseek-r1进行交互,执行命令:ollama run deepseek-r1,问"如何成为AI工程师",执行结果如下图所示:

      Ollama默认在http://localhost:11434上提供API服务。

      常用命令汇总

ollama --help # 查看Ollama支持的命令
ollama --version # 查看当前Ollama版本
ollama serve # 启动Ollama服务
ollama pull deepseek-r1 # 从注册表拉取模型,如deepseek-r1
ollam push deepseek-r1-copy # 将自定义模型推送到注册表
ollam run deepseek-r1 # 运行模型,如deepseek-r1
ollam list # 查看已下载的模型列表
ollam create my-llama -f ./Modelfile # 基于现有模型创建自定义模型
ollam cp deepseek-r1 deepseek-r1-copy # 复制一个已存在的模型
ollam stop deepseek-r1 # 停止正在运行的模型,如deepseek-r1
ollam rm deepseek-r1 # 删除模型,如deepseek-r1
ollam ps # 查看正在运行的模型列表
ollam show deepseek-r1 # 查看指定模型的详细信息,如deepseek-r1
/bye 或 按Ctrl+d # 退出Ollama环境
### Ollama API 介绍 Ollama 提供了一套 RESTful 风格的 API 来访问其强大的大模型功能,使得开发者能够轻松集成这些能力到自己的应用程序中[^1]。 #### 获取 Token 为了安全起见,在调用任何其他 API 路由之前,客户端需要先获取一个 token。这可以通过向 `/token` 发送 POST 请求来完成: ```bash curl -X 'POST' \ 'http://localhost:11434/token' \ -H 'accept: application/json' ``` 服务器会返回一个 JSON 对象,其中包含了用于后续请求的身份验证令牌。 #### 创建对话 创建一个新的对话可以使用 `POST /chat/{model}` 方法。这里的 `{model}` 参数指定了要使用的具体模型名称。例如,如果想要启动一个名为 "alpaca" 的模型,则 URL 应该是 `/chat/alpaca`: ```bash curl -X 'POST' \ 'http://localhost:11434/chat/alpaca' \ -H 'Content-Type: application/json' \ -d '{"messages": [{"role": "user", "content": "你好"}]}' ``` 此命令发送了一个包含消息列表的消息体给指定的大模型实例,并接收来自该模型的回答作为响应数据的一部分。 #### 查询现有对话历史记录 对于已经存在的对话,可以通过 GET 请求查询它们的历史记录。只需提供相应的 ID 即可获得完整的聊天日志: ```bash curl -X 'GET' \ 'http://localhost:11434/chats/<id>' \ -H 'accept: application/json' ``` 请注意 `<id>` 是占位符,实际应用时应替换为具体的对话标识符。 #### 删除对话 当不再需要某个特定的对话时,可以选择将其删除以释放资源。通过 DELETE 请求并附带目标对话的唯一标识即可执行这一操作: ```bash curl -X 'DELETE' \ 'http://localhost:11434/chats/<id>' ``` 同样地,这里也需要将 `<id>` 替换成真实的对话编号。 --- 除了上述基本的操作之外,Ollama 还提供了更多高级特性和服务端设置选项,比如 CORS 支持等,详情参阅官方文档了解更多配置细节[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值