大模型只能输出文本数据,格式化输出对Agent等应用至关重要。通过提示词可约束模型按JSON等格式输出,但模型实际输出的是JSON字符串而非对象。输出解析器(OutputParser)解决了这一问题,它通过提示词指导模型格式化输出,将文本解析为结构化对象,并提供容错机制。Langchain的OutputParser实现包括格式化约束、解析转换和错误处理三个核心环节,支持结构化输出和自定义解析,使大模型输出更易于程序处理和应用开发。
“ 大模型只能输出文本数据,需要通过转换才能变成我们需要的数据对象。”
在大模型的应用场景中,格式化输出是一个非常重要的环节;特别是对Agent智能体来说,没有格式化输出,智能体就是空中楼阁。
但从技术的角度来说,文本类模型的输出只有一种格式,那就是文本数据,json也是文本数据的一种格式;模型本身无法生成类似于json对象,python对象等格式的数据;因此,虽然我们可以约束模型按照json格式进行输出,但它本质上输出的只是json字符串,而不是json对象。

大模型的格式化输出
基于大模型只能输出字符串的前提,那么我们怎么约束大模型的输出呢?
在当今的程序开发领域,json格式是主流的数据传输格式;因此,一般情况下,我们和大模型的交互也是通过json串的形式来实现;但大模型本身又没有格式化输出。
在之前的文章中有提到过,在大模型应用中,唯一能和大模型直接打交道的角色只有一个——那就是提示词。
因此,一般情况下我们都会在提示词中约束大模型的输出格式,也就是告诉大模型要按照什么样的格式进行输出;这样的好处是有助于我们的程序处理;当然,现在的模型为了方便进行开发,部分模型也专门针对json格式进行训练或微调。

所以,我们现在知道可以通过提示词的方式告诉模型,可以使用json格式进行通讯;但怎么把大模型输出的json字符串转换成我们可以直接使用的对象,以及由于大模型本身的不稳定性,导致偶尔模型的输出不完全符合我们要求的json格式。这个时候我们应该怎么处理?
所以,这里就涉及到另一个问题——怎么解析大模型的输出,也就是输出解析器的问题。输出解析器的几个核心目标如下:
核心目标
- 格式化输出:指导 LLM 按照特定格式(如 JSON、XML)生成文本。
- 解析结果:将 LLM 的文本输出解析为结构化对象(如 Python 对象)。
- 错误处理:提供容错机制(如重试、自动修复)。
输出解析器不但扮演着把文本数据解析成结构化对象的桥梁,同时还需要提供怎么格式化模型输出的问题,也就是指导大模型按照特定的格式进行文本输出;同时,为了解决模型本身的不确定性,同时还需要提供容错机制。

所以,怎么实现一个输出解析器——OutputParse?
-
通过提示词约束模型的输出——格式化输出
-
解析输出——把大模型输出的文本数据转换成json或其它结构化对象
-
容错机制,当输出解析失败时,则尝试其它解析方式或重新生成
而Langchain中的输出解析器——OutputParse就是基于这个原理来实现的;如StructuredOutputParser就是通过responseSchema来约束模型的输出格式,并通过parse方法来把模型输出的文本数据转换成json格式的数据。
当然,Langchain还提供了自定义解析的方式,用户可以根据自己的需求,自定义解析器。
如何系统学习掌握AI大模型?
AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。
学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。
这里给大家精心整理了一份
全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!

1. 成长路线图&学习规划
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍
书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。(书籍含电子版PDF)

3. 大模型视频教程
对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识。

4. 大模型行业报告
行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战
学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题
面试不仅是技术的较量,更需要充分的准备。
在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以
微信扫描下方优快云官方认证二维码,免费领取【保证100%免费】

787

被折叠的 条评论
为什么被折叠?



