阿里云开发者 | 如何速成RAG+Agent框架大模型应用搭建

最新推荐文章于 2025-03-06 11:25:43 发布
最新推荐文章于 2025-03-06 11:25:43 发布
阅读量1.3k 收藏 12
点赞数 31
分类专栏： 大模型专栏 文章标签： 阿里云 云计算 python 深度学习 人工智能 RAG nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdn_xmj/article/details/140938704
版权

本文来源公众号“阿里云开发者”，仅用于学术分享，侵权删，干货满满。

原文链接：如何速成RAG+Agent框架大模型应用搭建

本文侧重于能力总结和实操搭建部分，从大模型应用的多个原子能力实现出发，到最终串联搭建一个RAG+Agent架构的大模型应用。

一、概况

目前有关大模型的定义与算法介绍的文章已经很多，本文侧重于能力总结和实操搭建部分，从大模型应用的多个原子能力实现出发，到最终串联搭建一个RAG+Agent架构的大模型应用，让个人对于大模型应用如何落地更加具有体感。

二、大模型发展现状

目前大模型发展笼统的可以分为两个部分，自然语言处理大模型（Qwen语言系列等）和多模态大模型，同时多模态大模型又分为多模态理解（Qwen-VL、Qwen-Audio等）和多模态生成（万相、EMO等）。

自然语言处理

在自然语言处理领域，短短的2个月内，大家已经看到了价格的急剧下降，这是得益诸如OpenAI的ChatGPT系列、Llama、通义、GLM等标志性大模型的发布和应用，也代表着这个技术在算法和模型层面上的进入了成熟的新阶段。这些自然语言处理大模型凭借其庞大的参数量和在海量数据上的训练，展现出了令人惊叹的语言理解和生成能力，除了原始的文本生成、机器翻译、情感分析和自动问答等基础功能，还衍生出了以检索增强生成和Agent搭建为背景的特定领域功能，比如客服质检、风控辅助、智能投研等。它们不仅大幅提高了交互的自然度和效率，还促进了诸如智能客服、内容创作、教育辅助工具等多种产品的创新与升级，实现了技术和业务需求的融合。

多模态

相比之下，多模态技术，尤其涉及视觉、听觉与文本等多种感官信息融合的多模态大模型，在Sora推出之后收到了广泛的关注，并且已经应用在一些客服、座舱、营销等领域。在GPT-4o发出后，端到端的多模态理解与生成模型也成为了每个公司所希望打造的模型之一。目前大多数对于多模态的应用还集中于原子能力的使用，比如图像描述生成、视频内容理解和生成等，与业务紧密结合的最佳实践还没有形成完整的体系，如何落地端到端的自然语言处理和多模态应用仍然在尝试和共创的过程中。

本文主要介绍自然语言处理模型如何在业务场景中进行落地，将模型价值转化为生产力价值。

三、原子能力概括

目前基于百炼平台、灵积平台和dashscope sdk等功能，非算法工程师和技术人员也可以学习并构建自己的大模型应用。总结多个产品和功能后，排除百炼本身单个功能（比如模型测试、模型微调等）外，目前的原子能力可以分为以下几个部分：

1、RAG

目前RAG的实现方式有两种：

  • 第一种通过百炼白屏化的方式，通过一下步骤快速搭建一个RAG应用：1、数据管理-导入数据；2、数据应用-知识索引-创建知识库；3、模型应用-新建应用-开通知识检索增强。

然后可以通过调用应用API的方式将应用集成在工程项目中：



此外，也支持llama-index集成百炼进行搭建，参考链接为：

https://help.aliyun.com/zh/model-studio/developer-reference/build-rag-applications-based-on-llamaindex

相对于白屏化操作来说，这种方式的优点是，通过每个步骤对应一个函数的拆分，可以控制每个步骤之间的输入输出，用户可以自定义的编写对于中间数据的数据操作，或者是做一些安全检测、安全防控类的任务。

  • 第二种为本地Llama-index：如果有一些敏感信息，希望无论是对于模型还是文件，都全部以本地的形式搭建本地RAG平台，那么可以尝试使用llama-index框架，从文件导入开始，从0到1搭建RAG流程，在这里不做赘述，可以参考下面类似的优快云文章。

    https://blog.youkuaiyun.com/qq_23953717/article/details/136553084

  • 注意项：

  • 影响模型应用的好坏的重要标志是PE工程，大模型无法读取用户的思维。如果输出太长，请要求大模型简洁回复。如果输出太简单，请要求专家级的扩写。如果大模型输出不符合要求的格式，请给大模型演示自己希望看到的格式。模型需要猜测用户的意图越少，用户获得所需结果的可能性就越大。

  • prompt策略：在OpenAI的材料中，对于prompt的建议有以下几个部分 1）在查询中包含详细信息以获得更相关的答案；2）要求模型采用某种角色扮演；3）使用定界符清楚地指示输入的不同部分；4）指定完成任务所需的步骤；5）提供示例；6）指定输出的期望长度

  • 百炼prompt最佳实践：

    https://help.aliyun.com/zh/model-studio/use-cases/prompt-best-practices

2、Function call

Function call需要解决的问题就是将LLM的能力从单纯NLP类问答转化为一个个执行单元，将模型输出的语言对应到可以执行特定任务的函数或插件。

目前Function call功能在百炼产品文档中已经形成两个非常详细的最佳实践文档：

  • 基于Assistant API的旅游助手：

    https://h

最低0.47元/天 解锁文章
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
丨汀、的博客
07-25 7821
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
RAG+Agent项目实践系列：基于本地菜谱知识库的大语言模型RAG+Agent的解决方案设计和实现
丨汀、的博客
08-09 997
RAG+Agent项目实践系列：基于本地菜谱知识库的大语言模型RAG+Agent的解决方案设计和实现
Agent+RAG+大纲驱动，AI创作新风暴
weixin_58753619的博客
09-21 1256
今天给大家分享斯坦福大学最近的一项研究，探讨了如何利用LLMs从头开始撰写基础、结构良好的长篇文章，达到与维基百科页面相当的广度和深度。（后文有代码结果示例！我们研究如何应用大型语言模型从头开始编写扎根且有组织的长篇文章，其广度和深度与维基百科页面相当。这个尚未充分探讨的问题在写作前阶段提出了新的挑战，包括如何在写作前研究主题并准备大纲。我们提出了STORM ，一种通过检索和多视角提问来合成主题大纲的写作系统。
如果你正在研究RAG，那么这10个开源框架非常值得一看！
最新发布
优快云_430422的博客
03-06 859
检索增强生成（）已成为增强大型语言模型能力的一种强大技术。框架结合了基于检索系统的优点与生成模型的能力，使得响应更加准确、上下文相关且实时更新。随着对复杂 AI 解决方案需求的增长，GitHub 上涌现出众多开源 RAG 框架，每个框架都提供了独特的特性和能力。
如何速成RAG+Agent框架大模型应用搭建
2401_85375298的博客
08-05 915
二、大模型发展现状目前大模型发展笼统的可以分为两个部分，自然语言处理大模型（Qwen语言系列等）和多模态大模型，同时多模态大模型又分为多模态理解（Qwen-VL、Qwen-Audio等）和多模态生成（万相、EMO等）。自然语言处理在自然语言处理领域，短短的2个月内，大家已经看到了价格的急剧下降，这是得益诸如OpenAI的ChatGPT系列、Llama、通义、GLM等标志性大模型的发布和应用，也代表着这个技术在算法和模型层面上的进入了成熟的新阶段。
大模型应用相关技术：RAG 与 Agent
小嗷犬的博客
01-29 7047
检索增强生成（RAG, Retrieval-Augmented Generation）是一种自然语言处理（NLP）中的创新方法，它结合了信息检索（IR）和深度学习生成模型的优点，以提高文本生成任务的准确性和上下文相关性。在 AI 和机器学习领域中，RAG 旨在解决大规模语料库中的信息检索与自动生成相结合的问题。AI Agent，全称为人工智能代理（Artificial Intelligence Agent），是计算机科学和人工智能领域中的一个重要概念。它是指一种软件或硬件实体，设计用于模拟智能行为，并能够在
推荐收藏！九大最热门的开源大模型 Agent 框架来了
热门推荐
机器学习社区
02-06 1万+
在人工智能领域，AI Agent 扮演着关键角色，能够模拟人类的智能行为。近年来，开源社区涌现出多个优秀的 AI Agent 框架，本文将介绍九种备受关注的开源AI Agent框架，包括AutoGPT、AutoGen、Langfuse、ChatDev、BabyAGI、CAMEL、SuperAGI、MetaGPT和ShortGPT。这些框架为开发者提供了丰富的资源和工具，为智能应用的开发和创新提供了强大支持。
RAG & Agent调研
银晗的学习博客
04-08 1202
这种方法的好处是，你可以离线处理文章中的词等细粒度的向量表示，从而大大加速检索的效率（DR中，每拿到一个新的document，都需要将这个document进行向量化）。基于查询的RAG也被称为提示增强。然而，SR方面，ColBERT 或 AligneR 等后期交互模型试图通过计算每个token的向量，然后以某种方式利用它们，来减轻必须选择在固定大小的向量中出现的存储等的问题。在基于潜在表示的检索增强生成（RAG）框架中，生成模型与检索到对象的潜在表示进行交互，从而增强了模型的理解能力和生成内容的质量。
基于大模型（LLM）的Agent 应用开发
我相信......
10-15 6035
目前，业界一般认为基于大模型的应用集中在两个方向上：RAG 和 Agent，无论哪一种应用，设计、实现和优化能够充分利用大模型(LLM)潜力的应用都需要大量的努力和专业知识。随着开发人员开始创建日益复杂的LLM应用程序，开发流程不可避免地变得更加复杂。这种流程的潜在设计空间可能是巨大而复杂的，《如何构建基于大模型的App》一文给出了一种探索中的大模型应用开发基础框架，基本可以适用于RAG 和Age...
快速搭建自己的RAG应用（一）
DEVELOPERAA的博客
05-16 1216
随着信息量的爆炸式增长，个人知识库的构建和管理变得愈发重要。除开开源的模型，还有像OpenAI，千问等产品提供的API，如同一座桥梁，降低了使用难度，连接了您的数据宝库与先进的自然语言处理能力。通过这些接口，您可以轻松实现文本的生成、理解、翻译和摘要，甚至是复杂问题的解答和智能对话的构建。
【人工智能AIGC技术开发】第1课-RAG+Agent人工智能
xzs51job的专栏
09-22 1177
2024-09-13 增加知识库问答搜索模式。2024-09-09 在 Agent 中加入医疗问诊模板。2024-08-22 支持用RAG技术实现从自然语言到SQL语句的转换。2024-08-02 支持 GraphRAG 启发于graphrag和思维导图。2024-07-23 支持解析音频文件。2024-07-08 支持 Agentic RAG: 基于Graph的工作流。
大模型技术及趋势总结
京东科技开发者
06-21 1064
RAG（Retrieval-Augmented Generation）技术是一种结合检索和生成的方法，用于提升大语言模型（LLM）在知识密集型任务中的性能。通过一个两阶段的过程提升LLMs的输出质量：•检索（Retrieval）阶段，可以从各种数据源检索相关信息；•生成（Generation）阶段，将检索到的文档与原始查询，形成提示模板，一起输入到生成模型中，产生最终的回答。这种方法使模型拥有了利用实时和外部的知识库（非训练时使用的数据）的能力，提高了其在特定问题处理上的灵活性和准确性。
AI大模型零基础入门学习路线(非常详细)从入门到精通，看这篇就 够了
2401_85379281的博客
08-15 2001
学习AI大模型从零基础入门到精通是一个循序渐进的过程，涉及到理论知识、编程技能和实践经验。下面是一份详细的指南，帮助你从头开始学习并逐步掌握AI大模型的构建与应用。
最简明的大模型agent教程
AI相关从业分享
03-22 5398
大模型Agent是结合了大规模神经网络模型和自主计算实体的技术，它具备强大的表达、学习和交互能力，能够在无人干预的情况下，根据环境信息自主决策和控制行为。简单而言之，agent是增强大模型能力的技术方案路径。主要包括：工具、工具选择方案，大模型工具应用3个部分。1用户给出一个任务(Prompt) -> 2思考(Thought) -> 3行动(Action) -> 4观察(Observation)
OpenAI 宣布将让人们无需注册账户即可免费使用 ChatGPT
程序员鑫港的博客
05-27 1175
自 2022 年底首次向公众推出以来，OpenAI 一直要求想要访问该聊天机器人的用户注册 OpenAI 账户。今天，该公司透露将向所有人免费开放 ChatGPT，无需创建账户。OpenAI表示，它将"逐步"推出这一新的访问权限，因此，根据您居住的地方，您可能仍需要先注册一个账户，然后才能向所有人提供这一改进。在开放之后，ChatGPT 打开就能用，看起来终于初步具备了「AI 搜索引擎」的样子。
动手做一个最小Agent——TinyAgent！
Datawhale
04-03 1089
Datawhale干货作者：宋志学，Datawhale成员前 言大家好，我是不要葱姜蒜。在ChatGPT横空出世，夺走Bert的桂冠之后，大模型愈发地火热，国内各种模型层出不穷，史称“百模大战”。大模型的能力是毋庸置疑的，但大模型在一些实时的问题上，或是某些专有领域的问题上，可能会显得有些力不从心。因此，我们需要一些工具来为大模型赋能，给大模型一个抓手，让大模型和现实世界发生的事情对齐颗粒度，...
10分钟理解大模型的量化
深数研究院
09-06 5260
量化是大模型领域中的一项关键技术，它通过降低模型参数的精度，将浮点数转换为整数或定点数，从而实现模型的压缩和优化。
【大模型应用开发 动手做AI Agent】基于大模型的Agent技术框架
AI大模型应用之禅
07-12 907
【大模型应用开发 动手做AI Agent】基于大模型的Agent技术框架 1. 背景介绍 1.1 问题的由来 随着深度学习技术的飞速发展，特别是大型语言模型的兴起，AI领域迎来了新的机遇与挑战。面对复杂多
大模型 | 开源RAG框架汇总：什么是RAG？RAG应用框架
01-30
### RAG框架概念 检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合了传统信息检索技术和现代自然语言处理中的生成模型的方法。这种方法允许机器学习系统不仅依赖于训练数据内部的知识，还能动态访问外部知识源，在面对新问题时获取最新、最准确的信息[^4]。 RAG 技术特别适用于那些需要持续更新或扩展背景资料的任务场景，比如问答系统、对话代理以及文档摘要等应用。通过引入外部资源作为补充材料，可以有效地减少由纯神经网络预测带来的不确定性——即所谓的“幻觉”现象，从而提高输出内容的真实性和可靠性。 ### 开源实现汇总 #### 1. **RAGFlow** 作为一个新兴的开源项目，RAGFlow 致力于简化基于 RAG 架构的应用开发过程。此工具包提供了多个预先配置好的模块和支持自动化的工作流设计，使得开发者能够更便捷地集成各种类型的数据库和服务接口，进而加速原型搭建和技术验证的速度[^2]。 - 显著特性： - 提供了一套完整的预构建组件； - 支持多种主流的数据存储方案； - 集成了先进的索引机制以优化查询效率； ```python from ragflow import PipelineBuilder pipeline = PipelineBuilder().add_retriever('elasticsearch').add_generator('transformers') ``` #### 2. **基于ChatGLM 和LangChain 实现的大规模离线部署方案** 这类解决方案专注于为企业级用户提供安全可控且高效的本地化部署选项。借助强大的中文理解能力（如 ChatGLM），再加上灵活易用的应用编程接口（APIs），这套组合拳可以在不连接互联网的情况下完成复杂的语义理解和响应生成任务[^3]。 ```bash git clone https://github.com/your-repo/chatglm-langchain.git cd chatglm-langchain pip install -r requirements.txt python app.py ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值