基于AutoGen+Ollama+Litellm构建知识库问答系统

原创 已于 2024-10-12 16:56:39 修改 · 806 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #AutoGen #Ollama #Litellm #知识库 #问答系统

于 2024-10-12 16:05:27 首次发布

目录

1 背景

1.1  AutoGen介绍

1.2 Ollama介绍

1.3 Litellm介绍

2 部署搭建

2.1 AutoGen + Ollama + Litellm环境搭建

2.2 基于AutoGen构建多智能体对话

2.3 基于AutoGen构建知识库问答系统

1 背景

之前已经基于Llama+LangChain构建了知识库问答系统。但是随着智能体的发展，基于智能体构建知识库问答系统逐渐成为主流。下面就以多智能体框架AutoGen、托管大型语言模型的平台Ollama、模型选择和切换工具Litellm为基础构建一个多智能体的知识库问答系统。同时搭建一个多智能体对话系统。

1.1 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
autogen+ollama+litellm实现本地部署多代理智能体
xiaomu_347的博客
11-23 1146
autogen 是一个专门为大语言模型 (LLMs) 驱动的自治代理 (autonomous agents) 设计的 Python 库，由 Microsoft 开发和维护。它通过高度模块化和可扩展的架构，支持用户快速构建和运行多代理系统，这些代理可以在没有明确人类干预的情况下协作完成复杂任务。AutoGen 支持以最少的工作量构建基于多代理对话的下一代 LLM 应用程序。它简化了复杂的 LLM。它最大限度地提高了 LLM并克服了它们的弱点。
本地电脑大模型系列之 11 微软的 GraphRAG + AutoGen + Ollama + Chainlit = 完全本地多智能体 RAG 超级机器人（教程含源码）
iCloudEnd的博客
07-17 1902
这是我第一次涉足 AI 代理、LLM 和 RAG，过去几周我直接开始创建此实现，绕过了很多基础知识。虽然此实现并不完美，但它是开发更复杂应用程序的绝佳模板。它为集成多个功能和编码代理奠定了坚实的基础，并使您能够构建复杂的工作流程、自定义代理交互并根据需要增强功能。
使用Autogen和本地LLM加速开发周期
XianxinMao的博客
03-14 1192
Autogen是微软开发的框架，能够通过多代理系统的协作加速大型语言模型(LLM)应用程序的开发。此框架的关键优势在于自动化代码创造和任务执行，以显著提高软件开发速度，减少人为错误。新推出的OLLAMA版本支持OpenAI Chat Completions API，简化了将本地开源LLM集成到Autogen的过程。本文将介绍如何使用Autogen和OLLAMA，以及如何结合这些工具和yfinance库绘制Meta和微软过去一月股价图表的示例。
多智能体开发三大框架深度解析：LangGraph、Autogen与Crewai的工具特性与选型指南
小程故事多的博客
11-20 800
多智能体开发框架对比分析：LangGraph、Autogen与Crewai 摘要： 随着AI应用复杂度提升，多智能体协同开发成为关键趋势。本文对比分析了三种主流框架：LangGraph依托LangChain生态，通过图结构实现灵活流程编排，适合复杂企业级应用；Autogen以对话为中心，提供零门槛协作机制，适用于快速原型开发；Crewai强调角色分工和任务分派，适合结构化业务场景。三者各具特色，LangGraph擅长状态管理和条件路由，Autogen简化智能体交互，Crewai注重角色专业化。开发者可根据项
ollama+autogen
qq_41638872的博客
03-06 1352
【代码】ollama+autogen。
ollama autogen
qq_41638872的博客
03-03 703
【代码】ollama autogen。
探秘AutoGen框架：从入门到实践的全攻略（25/30）
热门推荐
小相探索IT世界
01-15 1万+
AutoGen 是微软推出的一个开源的多代理对话框架，其核心目的是助力开发者创建基于大型语言模型（LLM）的智能应用。在这个框架中，代理（Agent）是具有特定功能和角色的实体，它们能够通过自然语言进行交流和协作，共同完成复杂的任务。简单来说，就像是组建了一个虚拟的团队，团队中的每个成员（代理）都有自己的专长，通过相互沟通和配合，实现诸如问题解答、任务执行、项目管理等各类目标。
本地电脑大模型系列之 03 将 Autogen 与本地 LLM 结合使用,使用 OLLAMA 将开源 LLM 与 Autogen 集成
iCloudEnd的博客
06-28 554
AutoGen 是由 Microsoft 开发的框架，它支持使用多个代理来开发 LLM 应用程序，这些代理可以相互对话以解决任务。代理可以采用多种模式运行，这些模式结合了 LLM、人工输入和工具。Autogen 的主要优势之一是它能够自动创建代码并执行通常需要手动完成的任务，从而显著加快开发周期。这不仅加快了开发速度，还通过最大限度地降低人为错误的风险，提高了软件应用程序的可靠性和性能。
Autogenstudio与Ollama本地大模型部署指南
其次，**Autogenstudio作为一个基于Microsoft AutoGen框架的可视化开发平台**，极大地简化了多智能体（Multi-Agent）系统的构建过程。AutoGen是由微软研究院推出的一个用于构建可定制、可扩展的多代理对话系统的开源...
​微软的 GraphRAG AutoGen Ollama Chainlit 完全本地的多智能体 RAG 超级机器人
m0_56255097的博客
10-25 1641
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
ollama + autogen排雷
weixin_40101756的博客
05-08 1708
启动后的url为：http://0.0.0.0:，实际调用需要将"0.0.0.0"替换为"localhost"，否则回报错误"oserror winerror 10049在其上下文中该请求的地址无效"语法：代表参数，实际输入为具体的名字，不需要输入注意：当前雷可能随着版本迭代更新掉。
LiteLLM 运行 Llama3
u011423880的博客
04-22 3220
Ollama 运行 Llama3，LiteLLM 代理 Llama3
litellm ollama python api 模式测试
weixin_28941895的博客
08-06 298
一起简单说过itellm 支持多种模式的大模型运行，有proxy 模式（可以proxy 模型以及包含api服务的模型接口），也有直接通过python 代码进行访问的，以下是对于ollama 模型的一个简单运行试用python代码模式appv4.py 此模式litellm 会自己进行登录后复制 from litellm ...
AutoGen问答系统：知识问答智能体构建实战指南
gitblog_01038的博客
09-01 737
在信息爆炸的时代，用户面临着海量知识却难以快速获取准确答案的困境。传统搜索引擎返回的是网页链接，而现代用户需要的是**精准、即时、可交互**的答案。AutoGen作为微软推出的多智能体框架，为构建下一代知识问答系统提供了强大的技术基础。 本文将深入探讨如何使用AutoGen构建高效的知识问答智能体，涵盖从基础概念到实战应用的完整流程。 ## AutoGen问答系统架构设计 ### 系统核心组...
GraphRAG + AutoGen + Ollama + Chainlit = 本地和免费的多代理 RAG 超级机器人
Python_cocola的博客
08-19 1961
这是我第一次涉足 AI 代理、LLM 和 RAG，在过去的几周里，我绕过了许多基础知识，直接投入到创建这个实现中。虽然这种实现并不完美，但它是开发更复杂应用程序的绝佳模板。它为集成多个功能和编码代理奠定了坚实的基础，应该使您能够构建复杂的工作流程、自定义代理交互并根据需要增强功能。
浅谈人工智能之基于AutoGen Studio+litellm+ollama构建model
测试人，测试魂
09-04 1907
随着自然语言处理技术的飞速发展，基于大型语言模型（Large Language Models, LLMs）的应用越来越广泛。本指南旨在介绍如何利用AutoGen Studio、litellm和ollama这三大工具，高效构建并部署具备高级对话能力的多智能体系统。通过整合这些工具，开发者能够轻松地在本地环境中搭建起功能强大、灵活且可定制的大型语言模型应用。
微软的 GraphRAG + AutoGen + Ollama + Chainlit = 本地和免费的多代理 RAG 超级机器人
m0_59235245的博客
09-26 1331
集成和关键组件的图形摘要R检索增强生成 (RAG) 是一种功能强大的工具，它使大型语言模型 (LLM) 能够访问现实世界的数据，从而做出更明智的响应。这是通过将模型与矢量数据库集成以进行实时学习和适应来实现的。此功能使 RAG 成为聊天机器人和虚拟助手等应用程序的首选，这些应用程序对实时准确且合理的响应需求很高。这种技术的高级变体称为图形检索增强生成 (GraphRAG)，它将基于图形的知识检索的优势与 LLM 相结合，进一步增强了自然语言处理的能力。
一键在本地调用上百种大模型，私密、高效、超低成本，详解LiteLLM+Ollama用法
weixin_45228758的博客
06-22 627
LiteLLM 是一个轻量级的 Python 库，充当与各种 LLM API 交互的统一接口。。LiteLLM 处理将你的请求转换为目标模型提供者所需的特定格式的底层复杂性。统一接口： 在 100 多个 LLM 提供商中，API 调用一致（提供商无关： 通过更改单个模型字符串，轻松在模型之间切换（例如，从gpt-4o切换到鲁棒性： 内置支持超时、重试和回退。可观察性： 集成日志记录、回调，并支持 Langfuse、Helicone 和 PromptLayer 等平台。
[特殊字符]3分钟复刻Manus智能体！AutoGen+MCP Server+Cline构建最强AI智能体，支持ollama！轻松实现网络搜索+文件操作的AI Agent！
m0_71165399的博客
03-08 1120
🚀🚀🚀本篇笔记所对应的视频Manus是中国科技团队最近推出的AI智能体系统，但是这个智能体并不开源。而且很多小伙伴都没有体验到Manus。所以我们将使用开源方案来复刻Manus。通过结合AutoGen的强大框架和MCP的精细控制,开发者有潜力创建出在自主性、适应性和协作能力上超越Manus的智能体系统。
Autogen Studio+本地ollama+deepseek安装该怎么做
最新发布
12-04
<think> 我们被要求提供Autogen Studio、本地Ollama和DeepSeek的安装方法。根据引用[1]，我们可以得到部分信息，但需要整合并扩展。 注意：引用[1]提到在conda环境中安装Autogen Studio，并指定了Python版本要求（3.10到3.12之间）。同时提到了Ollama和DeepSeek，但引用内容有限。 由于引用信息有限，我们将结合一般安装步骤和引用中的关键点进行回答。 安装步骤： 1. Autogen Studio: - 使用conda创建虚拟环境（因为Autogen Studio对Python版本有要求）。 - 激活虚拟环境。 - 安装Autogen Studio。 2. 本地Ollama: - 根据官方文档下载并安装Ollama（支持多平台）。 3. DeepSeek: - 这里可能指的是DeepSeek的模型，通常需要下载模型文件，然后通过Ollama或其他方式运行。 但是，引用中并没有提供完整的安装命令，因此我们需要补充常见的安装步骤。 具体步骤： 一、安装Autogen Studio: 引用[1]中提到：conda建立autogenstudio虚拟环境，激活，并注意Python版本（3.10到3.12之间）。我们可以这样做： ```bash conda create -n autogenstudio python=3.10 conda activate autogenstudio pip install autogenstudio ``` 二、安装本地Ollama: Ollama的安装可以参考其官方网站：https://ollama.com/download 根据操作系统选择对应的安装包。 例如，在Linux上可以运行： ```bash curl -fsSL https://ollama.com/install.sh | sh ``` 三、安装DeepSeek: 这里可能是指将DeepSeek模型与Ollama结合使用。Ollama支持从其模型库中拉取模型，但DeepSeek模型可能需要手动导入或等待官方支持。 目前（截至2024年3月），Ollama官方模型库中可能还没有DeepSeek模型。但我们可以通过创建Modelfile来使用DeepSeek模型。 步骤： 1. 从Hugging Face等平台下载DeepSeek模型（注意模型格式，Ollama支持GGUF格式）。 2. 创建Modelfile，指向下载的模型文件。 3. 使用Ollama创建模型。 例如，假设我们下载了deepseek-coder的GGUF模型文件（deepseek-coder:6.7b-base-Q5_K_M.gguf），则可以创建一个Modelfile： ```Modelfile FROM ./deepseek-coder:6.7b-base-Q5_K_M.gguf ``` 然后运行： ```bash ollama create deepseek-coder -f Modelfile ``` 之后就可以通过Ollama运行deepseek-coder模型了： ```bash ollama run deepseek-coder ``` 注意：由于模型文件较大，下载可能需要较长时间，且需要确保有足够的存储空间。 四、整合Autogen Studio和Ollama： 在Autogen Studio中，我们可以配置使用本地Ollama服务提供的模型。在Autogen Studio的配置中，设置模型路径为本地Ollama服务的API端点（通常为http://localhost:11434），并指定模型名称（如deepseek-coder）。 但是，引用[1]中并没有详细说明整合步骤，因此可能需要用户根据Autogen Studio的文档进行配置。 由于引用信息有限，以上步骤仅供参考，具体安装时请查阅最新文档。 生成相关问题： 1. Autogen Studio安装时遇到Python版本不兼容怎么办？ 2. 如何验证Ollama是否安装成功？ 3. 如何将DeepSeek模型配置到Autogen Studio中使用？ 4. Autogen Studio支持哪些模型？ 5. 安装过程中出现网络问题如何解决？ </think> 以下是Autogen Studio、本地Ollama和DeepSeek的安装步骤整合，基于最佳实践和最新文档（截至2024年10月）： --- ### **1. Autogen Studio 安装** **系统要求**： - Python ≥3.10 且 <3.13（推荐3.10） - 8GB+ RAM（建议16GB） - 支持的操作系统：Windows/Linux/macOS **步骤**： ```bash # 创建并激活conda环境 conda create -n autogenstudio python=3.10 conda activate autogenstudio # 安装Autogen Studio核心包 pip install autogenstudio # 验证安装 python -c "from autogenstudio import __version__; print(__version__)" ``` --- ### **2. 本地Ollama 安装** **作用**：本地运行大语言模型（如Llama3、DeepSeek等） **步骤**： ```bash # Linux/macOS 一键安装 curl -fsSL https://ollama.com/install.sh | sh # Windows：下载安装包（官网https://ollama.com/download） ollama run llama3 # 测试运行（自动下载模型） ``` --- ### **3. DeepSeek 模型集成** **方式一：通过Ollama运行**（推荐） ```bash # 下载DeepSeek模型（以7B版本为例） ollama pull deepseek-coder:7b # 启动模型服务 ollama run deepseek-coder:7b ``` **方式二：直接使用HuggingFace模型** ```bash pip install transformers torch ``` ```python from transformers import AutoTokenizer, AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-coder-7b-instruct") ``` --- ### **4. Autogen Studio + Ollama 集成** 1. 启动Ollama服务（默认端口11434） 2. 在Autogen Studio配置模型端点： ```json { "model": "deepseek-coder:7b", "base_url": "http://localhost:11434/api/generate" } ``` 3. 参考[集成文档](https://microsoft.github.io/autogen/docs/FAQ#local-llm-setup)调试代理设置[^1] --- ### **常见问题解决** - **Python版本冲突**：使用`conda install python=3.10`强制指定版本 - **Ollama端口占用**：修改服务端口`ollama serve --port 11435` - **模型下载慢**：配置镜像源`OLLAMA_HOST=registry.ollama.ai` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

space01

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值