CS创新实验室

尽管对话模型在内部使用了语言模型，但它们提供了一个独特的接口，以聊天消息作为输入和输出。本节将详细介绍如何在 LangChain 中使用 OpenAI 的对话模型，其他模型使用方法类似，如前用通义千问所创建的。这些示例展示了如何使用 Langchain 的输出解析器来结构化各种类型的模型响应，使其适用于不同的应用场景和格式。本节将介绍如何在 LangChain 中使用 OpenAI 的 LLM 封装器，这也适用于其他类型的 LLM。对于对话模型，提示的结构更加复杂，涉及具有特定角色的消息。

在本质上，LangChain 是一个创新的框架，专为利用语言模型能力构建应用程序而量身定制。它是为开发者设计的一套工具包，用于创建能够感知上下文并进行复杂推理的应用程序。这意味着 LangChain 应用可以理解如提示指令或内容基础响应的上下文，并使用语言模型执行复杂的推理任务，比如决定如何回应或采取什么行动。LangChain 代表了一种开发智能应用程序的统一方法，以其多样化的组件简化了从概念到执行的过程。

结构化输出确保模型生成的内容遵循预定义的格式，例如 JSON、XML 或 Markdown。以前，大型语言模型（LLMs）会生成没有特定结构的自由形式文本。而结构化输出提供了一种替代方案，使输出具有机器可读性、一致性，并能够轻松集成到其他系统中。自由形式文本通常存在歧义且难以解析，而结构化输出则允许直接与软件系统集成，而无需复杂的数据转换。将输出限制为特定格式意味着结构化输出有助于减少变异性与错误。因此，对于一致性与准确性至关重要的任务（如 API 交互或数据库更新），这些输出更加可靠。

在科技的不断演进中，大语言模型的应用范围越来越广泛，但传统API集成方式却如同一个混乱的拼图，每个服务都需要单独开发适配代码，这不仅增加了开发的复杂性和成本，还限制了大语言模型的灵活性和扩展性。MCP的出现，就如同给这个混乱的局面带来了一盏明灯。MCP类似于“AI领域的USB - C接口”，这一形象的比喻生动地说明了它的统一和兼容性。在计算机硬件领域，USB - C接口凭借其统一的标准，让各种设备能够方便快捷地连接和交互。同样，MCP通过统一协议，解决了传统API集成的碎片化问题。

DeepSeek的热潮本质是技术路径创新与行业需求共振的结果。其以第一性原理为锚点，通过成本控制与算法重构推动智能民主化，但热潮背后需冷静审视技术瓶颈与长期生态影响。未来的竞争将不仅限于模型性能，更在于如何通过底层创新（如能耗优化、分布式架构）实现可持续的智能革命。

利用大模型（LLM），结合本地知识，开发 RAG 或者 AGENT 的应用，解析 PDF 文档几乎是不可避免的事情。多数开发者可能习惯使用 LlamaParse。这个工具虽然可以用，但总有不满意之处。为此，就出现了一个专为大语言模型（LLMs，Large Language Models）设计的 PDF 解析的大杀器：PymuPDF4llm。它就像一把超级瑞士军刀，能轻松破解任何 PDF 文档，为你提供 AI 项目渴求的干净结构化数据。

在 BAML 中，可以通过.baml文件定义 LLM 函数。input {output {prompt """"""在这个例子中，定义了一个名为的函数，它接受name和age作为输入，并生成一个描述性的字符串作为输出。prompt部分定义了如何将输入传递给 LLM，model指定了使用的 LLM 模型。

LangGraph是一个构建于LangChain之上的高级库，旨在通过引入循环计算能力来增强您的大型语言模型（LLM）应用。虽然LangChain允许创建用于线性工作流的有向无环图（DAG），但LangGraph更进一步，支持添加循环，这对于开发复杂的、类似智能体的行为至关重要。这些行为使得LLM能够持续循环执行某个过程，根据不断变化的条件动态决定下一步要采取的行动。LangGraph：结点、状态和边LangGraph的核心概念是状态图状态：表示在计算过程中维护和更新的上下文或记忆。

—有效的提示词是基于大语言模型（LLM）驱动的 AI Agent 成功的基础。精心设计的提示词能够涵盖所有必要的信息，确保 AI Agent 生成准确的返回信息并高效执行任务。

在大型语言模型中，情境限制或上下文长度指的是模型可以处理的 token 的数量。每个模型都有其特定的上下文长度，也称为最大 token 数或 token 限制。例如，标准的 GPT-4 模型的上下文长度为 12.8 万个 tokens。超过此数量的 token 信息将会丢失。其他各种 LLM 皆有类似情况，只不过上下文限制的 tokens 量的不同。此外，还有另外一个不可忽视的问题，随着上下文限制的增加，LLM 会受到如“近因效应”（recency）和“首因效应”（primacy）等限制的影响。

在构建与大型语言模型（LLM）相关的应用时，是指将大段文本分解为较小的片段。这是一种关键技术，有助于优化我们在使用LLM嵌入内容后从获取内容的相关性。在这篇文章中，我们将探讨分块是否以及如何帮助提高LLM相关应用的效率和准确性。众所周知，分块的主要原因是确保我们嵌入的内容尽可能少的噪音，同时仍保持语义相关性。例如，在语义搜索中，我们索引了一组文档，每个文档包含关于特定主题的有价值的信息。通过应用有效的分块策略，可以确保我们的搜索结果准确地捕捉到用户查询的本质。

毫无疑问，识字的人能够阅读和理解文本，至少部分文本。而计算机中是将文本变成了“数字”，它不能像人阅读和理解文本那样理解字词句的含义。但是，我们可以用一种称之为“向量化”的方法，让计算机也理解自然语言（与之对应的一个专门方向就是“自然语言处理”，英文：Natural language processing，NLP）。多年前，人们就已经将文本转换为了计算机可理解的格式（其中一个早期版本是 ASCII 编码）。这种方法有助于文本的展示和传输，但并不对单词的含义进行编码。

RAG，即检索增强生成，是一种通过整合来自外部来源的相关信息来增强 LLM 响应的技术，从而在无需重新训练模型的情况下增强模型的预训练参数记忆。简单来说，RAG 允许使用例如 GPT-4o 这样的现有模型结合外部知识，而不需要重新训练整个模型，从而将LLM的强大功能与外部数据的优势结合在一起。可以将其分为三个一般步骤——索引检索和生成。实际上，之前实现是一种称为 SearchRAG 的 RAG 变体。SearchRAG 是 RAG 的扩展，其中检索部分使用典型的搜索引擎进行查询，并将结果传递给生成器。

传统的客户服务中如果使用了聊天机器人，本质上是其是基于文本的互动，而非语音的互动，我们可以称之为交互式文本响应系统（ITR）。在这类系统中，一旦自动对话达到某个点，可以交接到真人客服，但这是一次性转移，也就是说，当对话被人工客服接手之后，就会一直持续到服务结束。而 Agent 提供了另外一种新的解决方案。