Ollama+OpenManus详细部署实战

一,OpenManus介绍

一个专注于基于强化学习(RL,例如 GRPO)的方法来优化大语言模型(LLM)智能体的开源项目,由来自UIUC 和 OpenManus 的研究人员合作开发。

二,安装

  • 创建新的 conda 环境:
conda create -n OpenManus python=3.12
conda activate OpenManus
  • 克隆仓库:
git clone https://github.com/mannaandpoem/OpenManus.git
cd OpenManus
  • 安装依赖:
pip install -r requirements.txt -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

三,Ollama部署大模型

  • 1,在选择语言模型这一块要选支持调用tools的,支持function call的,ollama官方的文档有写清楚哪些模型支持这个

https://ollama.com/search?c=tools

# 语言模型
ollama run qwen2.5:7b
# 视觉模型
ollama run llava

在这里插入图片描述
在这里插入图片描述

  • 2,配置ollama并行处理和多模型启动
# 用于设置Ollama处理的最大并发请求数。这个参数对于需要较高GPU吞吐量的环境非常重要,适当增加这个值可以更好地利用GPU资源。
OLLAMA_NUM_PARALLEL=4
# 用于设置每个GPU上最大可加载的模型数量。通过调整这个参数,
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值