ollama安装及本地部署开源大模型

Ollama官网:https://ollama.com/,官方网站的介绍就一句话:Get up and running with large language models. (开始使用大语言模型。)
Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型、降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。

安装后是默认路径:C:\Users\Administrator\AppData\Local\Programs\Ollama

Ollama大模型仓库

https://ollama.org.cn/library

Ollama配置服务端口
编辑环境变量
在这里插入图片描述
OLLAMA_HOST:配置端口
D:\ollama\models:配置大模型本地存储路径
OLLAMA_ORIGINS:访问端口允许跨域
配置环境变量后重启Ollama
启动Ollama后安装启动本地大模型

ollama run qwen2:0.5b

在这里插入图片描述
查看本地大模型

ollama list

在这里插入图片描述

java 调用大模型接口
1、JDK必须是17版本
在这里插入图片描述

### 部署开源大模型Ollama Chatbox #### 准备工作 为了成功部署开源大模型Ollama Chatbox,需先确认环境配置满足最低需求。通常情况下,这涉及到操作系统版本、Python 版本以及必要的依赖库安装[^1]。 #### 下载并安装Ollama服务端 通过官方文档获取最新的 Ollama 安装包,并按照指引完成服务器端的搭建过程。对于 Linux 用户而言,可能涉及命令行操作;而对于 Windows 或 macOS 用户,则有图形界面辅助工具可供选择[^2]。 #### 获取目标大模型文件 从指定仓库下载所需的预训练模型权重文件及其配套脚本。注意检查所选模型是否兼容当前使用的框架版本,以免后期遇到不必要的麻烦。 #### 修改配置使模型生效 进入 Ollama 的管理后台,在左侧菜单找到「设置」选项卡点击打开。这里可以调整多项参数来优化聊天体验,比如切换不同类型的 AI 引擎或是自定义提示词模板等。当一切准备就绪之后保存修改即可让新加载的大规模语言理解能力正式投入使用。 ```bash # 假设已正确设置了环境变量 PATH 和其他必要条件 ollama install path/to/your/model_directory/ ``` #### 测试验证功能正常运行 最后一步便是启动应用程序并对整个流程做一次完整的测试。可以通过向机器人发送一些简单的指令来看其响应情况,以此判断集成是否顺利完成。如果有任何异常现象发生,请参照日志记录排查具体原因所在。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值