AI-Ollama安装部署总结

简介

Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。

官网地址

https://ollama.com/

github地址

https://github.com/ollama/ollama

博主运行环境

内存 48G 金士顿
cpu 12代I7
gpu RTX3060 laptop 12G
cuda CUDA Version: 12.1
系统 windows11
docker 4.34.0

windows安装

直接访问官网地址下载exe安装即可,默认直接装在c盘下面。

C:\Users\yourname\AppData\Local\Programs\Ollama

环境变量

windows加入系统变量

#作用提高长文本推理速度
OLLAMA_FLASH_ATTENTION True
#作用可访问的ip以及端口 默认是11434
OLLAMA_HOST 0.0.0.0:11434
#模型存放位置
OLLAMA_MODELS E:\Data\OllamaCache
#设置 Ollama 服务的并行处理数量为 2,表示可以同时处理 2个请求。
OLLAMA_NUM_PARALLEL 2

如图所示
在这里插入图片描述

检验安装


                
<think>好的,我需要帮助用户了解如何使用spring-ai-ollama-spring-boot-starter。首先,我应该回顾用户提供的引用内容,看看有没有相关的信息。引用[1]提到这个starter需要JDK 17和Spring Boot 3,特别是版本3.2.11。引用[2]则讨论了另一个类似的starter,即spring-ai-openai-spring-boot-starter,用户可能参考了其整合过程,但需要针对Ollama进行调整。 首先,我需要确认用户的需求是具体的配置步骤、示例代码和使用教程。根据引用内容,用户可能已经查看了官网文档,但需要更详细的指导。我应该从环境准备开始,包括JDK和Spring Boot版本的要求,然后逐步说明如何添加依赖、配置属性、编写示例代码,可能涉及控制器或服务的创建,以及如何调用Ollama的API。 接下来,我需要确保回答的结构符合用户的要求:结构清晰,分步骤解决问题,并保证真实可靠。可能需要分几个部分,比如环境准备、依赖配置、属性设置、代码示例、运行测试等。同时,需要生成相关问题,如版本兼容性、本地部署方法、常见错误处理等。 还需要注意LaTeX格式的使用,虽然问题中可能不涉及数学公式,但如果有代码块或命令,需要用正确的格式。例如,Maven依赖应该用代码块包裹,属性配置用YAML格式展示。 最后,要确保回答中引用用户提供的引用来源,比如在提到JDK和Spring Boot版本时引用[^1],在提到整合过程时引用[^2]。但根据用户提供的引用,引用[2]更多是关于OpenAI的整合,可能不直接相关,所以可能只在涉及环境准备时提到引用[1]。 需要检查是否有遗漏的步骤,比如是否需要额外的配置或依赖,比如Ollama本身的安装和运行,或者是否需要启用特定的Spring Boot特性。此外,可能还需要说明如何测试应用程序,比如通过curl命令或编写单元测试。 总结步骤: 1. 环境准备:JDK 17和Spring Boot 3.2.11。 2. 添加Maven依赖。 3. 配置application.yml,设置Ollama的base-url和chat options。 4. 创建Controller或Service,注入ChatClient进行调用。 5. 示例代码和运行方式。 6. 注意事项,如启动Ollama服务。 可能的问题点:确保用户本地运行了Ollama,否则连接会失败。需要提醒用户先安装并启动Ollama服务,可能提供相关命令如`ollama serve`。 生成的相关问题可能涉及版本冲突、配置错误、如何自定义模型参数等。</think>### Spring-AI-Ollama-Spring-Boot-Starter 使用指南 #### 1. **环境准备** - **JDK 17**:确保已安装并配置环境变量[^1]。 - **Spring Boot 3.2.11**:需与父项目版本匹配(参考`<spring-boot.version>`配置)。 - **本地Ollama服务**:需安装并启动Ollama服务(默认端口`11434`),运行命令: ```bash ollama serve ``` #### 2. **添加依赖** 在`pom.xml`中引入`spring-ai-ollama-spring-boot-starter`: ```xml <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-ollama-spring-boot-starter</artifactId> <version>0.8.1</version> <!-- 以实际版本为准 --> </dependency> ``` #### 3. **配置属性** 在`application.yml`中设置Ollama连接参数: ```yaml spring: ai: ollama: base-url: http://localhost:11434 # Ollama服务地址 chat: options: model: llama2 # 指定使用的模型名称 temperature: 0.7 # 生成文本的随机性控制 ``` #### 4. **编写示例代码** 创建Controller调用Ollama接口: ```java import org.springframework.ai.chat.ChatClient; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; @RestController public class OllamaController { private final ChatClient chatClient; public OllamaController(ChatClient chatClient) { this.chatClient = chatClient; } @GetMapping("/ask") public String askQuestion(@RequestParam String question) { return chatClient.call(question); } } ``` #### 5. **运行与测试** 1. 启动Spring Boot应用。 2. 访问API测试: ```bash curl http://localhost:8080/ask?question="Java如何实现快速排序?" ``` #### 6. **注意事项** - 模型需预先通过Ollama下载,例如: ```bash ollama pull llama2 ``` - 若连接失败,检查Ollama服务状态及防火墙设置。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Z天蝎座

老天 掉馅饼吧!!!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值