夏天又到了的专栏

如果你和我一样，从传统软件开发转来做大模型应用，一定会有个明显感受：网上教程很多，但大多停在“用 SDK 调通一个对话”这一步。等你真要在生产里做一个智能助手，问题立刻冒出来——RAG 怎么切分才不丢上下文？Agent 用 LangGraph 还是 Coze？微调什么时候才值得上？系统架构怎么分层才扛得住业务？这时候你会发现，缺的不是某个代码片段，而是一张。最近翻到鲍亮、李倩两位教授写的《大模型应用开发》（清华大学出版社），第一反应是：这才是给“做系统的人”看的大模型书。

RAG 能挡一层，但再往下走，一定是微调。而微调最怕的，不是显存不够，是。这也是我为什么会把王晓华的‌《从零开始大模型开发与微调：基于 PyTorch 与 ChatGLM》丢给团队新人当“补课教材”。

随着软件开发规模扩大和项目复杂性增加，代码质量管理成为核心挑战。传统代码缺陷修复依赖开发者经验和手工调试，效率低下且易遗漏问题。在开源项目和大型企业应用中，每天产生海量issue，涵盖功能缺陷、性能瓶颈、安全漏洞等，人工处理难以满足时效性和准确性需求。近年来，大语言模型在代码理解与生成上展现潜力，通过学习海量代码库和文档，能理解代码语义、识别错误模式、生成修复方案。基于此构建的代码修复智能助手，可提升效率、降低成本，为软件工程智能化奠定基础，本章介绍的此类助手可自动化处理代码托管平台的issue，意义重大。

在社会法制体系不断完善的背景下，公众与企业对法律咨询的需求持续增长，但行业面临诸多现实困境：律师资源集中于城市导致供需失衡，法律服务成本高昂且响应周期长，合同文本、法规条例、司法案例等法律材料规模庞大，人工处理难以实现高效筛选与精确匹配。传统案件审理高度依赖人工，不仅效率低下，还易受主观性影响，难以快速准确识别违法行为及对应的法律条款。而大语言模型在通用任务处理、语义理解等方面的强大能力，为解决这些痛点提供了可能。法律文本结构化程度较高的特性，使大模型能精准解析法条、理解案例语义、归纳上下文逻辑，在文本梳理

人工智能领域，特别是以大语言模型为代表的基础模型，正经历着一场深刻的范式变革。这些拥有海量参数、在广泛语料上预训练而成的模型，展现出前所未有的文本理解、生成、推理和交互能力，已然成为驱动技术创新的核心引擎。从智能问答、创意写作到代码生成、复杂数据分析，乃至个性化教育和自动化决策支持，大模型的触角正在迅速延伸至社会经济生活的各个角落。然而，模型能力的爆炸性增长，并未自动转化为现实世界中稳定、可靠、高效且易于构建与维护的应用。

所谓大模型应用架构，是指围绕大模型构建完整应用解决方案所涉及的全局性、系统化的设计蓝图与技术框架。它超越了单一模型推理的范畴，是一个复杂的系统工程。其核心目标在于构建一个稳定、高效、灵活且安全的智能化应用运行环境，将关注点从“模型能做什么”转向“如何让模型在实际应用中可靠、高效且可控地达成预期目标”。

鲍亮大模型应用开发入门书《大模型应用开发》1~6章试读-优快云博客大模型应用开发（人工智能技术丛书）【行情 报价 价格 评测】-京东人工智能领域近年来最显著的技术飞跃之一，莫过于大语言模型的快速演进。随着以GPT、Llama、通义千问、文心一言、DeepSeek等为代表的大语言模型迅速迭代，一种新型“通用智能基础设施”正在形成。这些参数规模以百亿乃至千亿计的模型，展现出超越传统规则系统与狭义机器学习模型的泛化能力，为自然语言处理、多模态融合乃至智能决策等任务带来了前所未有的可能性。而“大模型应用”正是在这

近年来，随着大语言模型（Large Language Model，LLM）能力边界的不断拓展，人工智能从任务驱动型系统逐步迈向具备一定自主性与适应性的智能体（Agent）范式。这一转变不仅在技术路径上标志着从“工具式AI”向“协作式AI”的演进，更在认知层面上引发了对“智能”本质的新一轮探讨。特别是在多模态理解、上下文记忆、复杂推理与链式决策等关键能力的加持下，AI智能体在模拟人类认知过程方面已具备相当潜力，成为当前人工智能研究与应用开发的重要方向之一。本章旨在系统梳理AI智能体的核心理论、关键技术构件及其

多模态大模型（Multimodal Large Language Model，MLLM）作为人工智能大模型领域的重要发展方向，致力于融合图像、文本、音频、视频等多种模态数据，通过统一的模型架构实现跨模态的信息理解、生成与推理，成为推动通用人工智能（Artificial General Intelligence，AGI）演进的关键技术路径之一。在此基础上，针对本书的主题，重点介绍大模型微调的实践流程，包括数据集准备、模型初始化、训练环境配置、部分或全部微调、评估和验证、部署、监控和维护七个主要步骤；

《AI Agent智能体与MCP开发实践：基于Qwen3大模型》读者学习心得与案例重现-优快云博客内容简介、前言 【新书预告】《AI Agent智能体与MCP开发实践：基于Qwen3大模型》_ai agent智能体与mcp开发实践 基于qwen3大模型 电子书、-优快云博客目录 《AI Agent智能体与MCP开发实践：基于Qwen3大模型》目录_ai agent智能体与mcp开发实践电子书-优快云博客 从大模型到自主智能体的能力跃迁_ai agent qwen3王晓华-优快云博客大模型工

案例：ChatGPT、Copilot、Siri的升级版（如Apple Intelligence）、亚马逊的Alexa Guard（家庭安全监控）。案例：AI医生助手（如Ada Health）、心理健康聊天机器人（Woebot）、老年人陪护机器人（如 ElliQ）。数字人：虚拟主播（如央视AI手语主播）、数字员工（如韩国SK Telecom的A.X）。案例：电商客服（如阿里小蜜）、AI销售顾问（如Gong.io分析销售对话）。诊断辅助：AI影像识别（如腾讯觅影）、手术机器人（如达芬奇系统）。

不同应用场景（如自动驾驶、智能客服、工业机器人）的智能体可能在组件实现上各有侧重，但图1.1所示的框架是其功能实现的基础。智能体（Agent）是指能够在特定环境中自主感知、决策并执行动作的实体，其核心组件通常包括以下几个部分，不同类型的智能体（如软件智能体、物理智能体、AI智能体等）在组件细节上可能有所差异，但整体框架具有共通性。负责从环境中获取信息，将物理世界的信号（如视觉、听觉、触觉等）或数字环境的数据（如传感器数据、网络信息、用户输入等）转换为智能体可处理的内部表示。

什么是智能体（Agent）？简单来说，智能体就是“能自主执行任务的AI”。传统AI（如ChatGPT）主要依靠用户输入指令，而智能体（Agent）可以自主思考、决策，并执行复杂任务，就像一个AI助手，能够独立完成多步操作。用一句话总结就是：智能体=AI+目标驱动+自主行动。以日常生活中的智能语音助手为例，当你向它发出“查询明天天气”的指令时，它能迅速感知你的语音信息，通过对语音的识别和语义理解，在庞大的天气数据中进行搜索，然后做出决策，最后以清晰的语音告知你明天的天气状况。

同时，随着业务的发展和数据量的增加，如何对LangChain构建的系统进行有效的维护和管理，以及确保数据安全和隐私保护，也是开发者面临的重要挑战[45]。自发布以来，LangChain以其强大的功能和便捷的使用方式，受到了广大开发者的青睐，在智能客服、内容创作、智能助手等多个领域得到了大量应用，成为RAG技术应用开发的重要工具之一。并且，其功能和配置相对固定，在满足高度个性化的业务需求时，灵活性不足，如需实现特定行业的专业术语处理、特殊业务逻辑，往往需要额外的定制开发，进一步增加使用成本。

第2章 Agent开发环境配置-优快云博客第3章 从零到一，深度实践大模型微调——《AI Agent智能体与MCP开发实践》第三章学习心得-优快云博客第6章 从零到一，深度实践大模型微调——《AI Agent智能体与MCP开发实践》第六章学习心得_基于华为versatile agent与mcp service的智能体构建与api调用实践,如何学习-优快云博客第7章 AI Agent 智能体与MCP开发实践第7章案例实现--基于Qwen3的多Agent智能客服实战-优快云博客第8章 AI A

RAG技术的核心在于构建一个“检索-生成”的协作体系。当用户提出问题时，检索器会从外部知识库（如企业文档库、专业数据库、网页内容等）中，依据关键词匹配、语义相似性等策略检索相关信息；随后，检索到的信息与用户问题一同被输入至生成器，经过处理后输出更准确、可靠的回答[28]。在RAG技术生态中，商用框架多由大型企业主导研发，这类框架通常具备功能完备、稳定性强、技术支持体系完善等优势，但存在使用成本高、定制化难度大等问题；

AI智能体（AI Agent）是人工智能领域一个关键的范式转变，其核心在于赋予机器更高的自主性。AI智能体可被定义为能够感知其环境、通过内部机制进行认知（包括推理和规划）、做出决策并采取行动以达成特定目标的自主实体。它通常是一个持续运作的系统，能够与动态环境进行交互并从中学习[1]。与传统AI应用（例如，图像分类器、推荐系统或传统的基于规则的聊天机器人）相比，AI智能体存在本质差异。传统AI应用通常是针对特定任务设计的，它们接收输入、产生输出，但通常缺乏自主性。

检索增强生成技术的发展并非一蹴而就，而是在自然语言处理与信息检索两大领域的长期探索中逐步成型的。这一技术的演进历程，既体现了学术研究对技术瓶颈的持续突破，也反映了工业界对智能应用落地的迫切需求。从早期基于规则的简单检索式问答系统，到如今融合深度学习的复杂RAG架构，其发展轨迹见证了人工智能技术从理论研究向实际应用的深度转化。

RAG技术的核心要义在于将信息检索领域强大的动态知识获取能力，与自然语言生成领域出色的文本创作能力进行有机且深度的耦合。与传统预训练语言模型单纯依赖参数记忆知识的模式截然不同，RAG系统在运行过程中采用显式知识检索策略。具体而言，当系统接收到用户输入的查询语句后，会即刻依据语句内容，从外部庞大的知识库中精准提取相关信息片段，并将这些片段深度整合到后续的生成过程之中[2]。这种独具特色的双阶段处理架构，赋予了模型在面对各类知识密集型任务时突破预训练数据时间边界的能力，从而能够实时调用最新、最准确的事实性知识。

MCPInspector是一款专为MCP服务器设计的交互式开发者工具，提供调试、测试、监控和优化功能。其核心模块包括：1) Tools功能模块，通过JSON-RPC协议实现工具调用与交互；2) Resources数据访问抽象，提供静态和动态资源访问；3) Prompts提示词模板系统。工具采用模块化架构，支持可视化界面和命令行操作，包含协议解析引擎、传输适配层和协同调试等功能，能够适配本地开发环境和云服务场景。此外，还提供能力协商机制，支持版本升级等握手过程。

百度千帆平台的界面如图5.6所示。（1）全链路AI服务覆盖：提供数据标注（PAI-iTAG）、特征管理（FeatureStore）、可视化建模（PAI-Designer）、交互式建模（PAI-DSW）、分布式训练（PAI-DLC）、模型在线服务（PAI-EAS）等全流程服务，支持AI研发和运维的全生命周期，满足不同用户在AI项目各阶段的需求。同时采用渐进式开发体系，从简单的零代码Prompt配置，到低代码工作流编排，再到全自主Agent开发，满足不同技术水平用户的需求，极大降低了大模型开发和应用的门槛。

该平台的可视化界面如图5.3所示。（2）全生命周期管理：涵盖数据预处理（支持常见格式数据导入与格式化）、模型训练（多种优化训练算法）、评估（多维度指标评估模型性能）、部署（支持导出GGUF、ONNX等格式适配不同场景）等功能，提供完整的模型开发与管理流程。（1）轻量集成式服务：与Hugging Face生态紧密结合，一站式完成大语言模型从加载、微调（如LoRA/QLoRA等技术）到推理部署的流程，无缝对接Hugging Face的数据集、模型仓库及各类工具库，无需复杂的外部集成操作。

为增强模型泛化能力，可引入数据增强技术（如文本改写、同义词替换），对于医疗、法律等专业领域，需额外关注数据隐私，采用差分隐私技术（如Amazon SageMaker Ground Truth）过滤敏感信息。此外，需针对边缘案例（如超长文本、歧义查询等）进行压力测试，确保模型在复杂场景下的鲁棒性，评估结果将直接决定是否进行超参数调优或重新微调。从最开始的数据集筹备，到模型初始化、训练环境搭建，再到微调实施、效果评估验证，直至最后的部署上线以及后续的监控维护，整个流程覆盖了从模型改造到落地应用的全周期。

微调作为迁移学习的典型范式，其理论概念可追溯至2018年前后[4]，但在Devlin J等人里程碑式的工作[5]发表后成为主流术语。在该研究中，Devlin J等人将BERT模型首先使用预训练参数初始化，然后利用下游任务的标注数据对所有参数进行监督式更新。每个下游任务都有单独的微调模型，它们使用相同的预训练参数进行初始化。得益于其参数高效迁移的特性，微调相较于预训练展现出显著优势：所需的计算资源大大降低。

在上面代码中，定义了一个函数，用于转换tools工具中的JSON数据，而Qwen3的作用是对输入的内容和函数进行匹配，并完成函数的调用。注意，这里每次处理一个问题都会重新建立与MCP服务器的连接以及与LLM的交互，这在实际应用中可能不是最高效的方式，但便于演示和测试。ask_llm(question, tools_list)：构建系统提示词，将工具描述和用户问题结合，生成一个JSON格式的工具调用命令。其中，mcp.tool()的作用是对函数进行注册，将函数转换为可供MCP框架使用的工具。

思维树（Tree of Thoughts, ToT）提示技术代表了提示工程领域的重要进展，它在思维链的基础上进一步拓展了推理的维度和深度[12]。与CoT采用线性推理路径不同，ToT通过构建树状的思维结构，能够系统性地探索多个可能的解决方案路径，在一定程度上模拟了人类在面对复杂问题时的发散性思维过程。从认知科学的角度来看，ToT技术可能反映了人类专家在处理复杂问题时的思维特征：面对挑战性任务时，专家往往会考虑多种可能的解决方案，评估不同路径的可行性，并在必要时回溯到更优的中间状态。

Qwen3所实现的工具调用机制，使得大模型在自然语言处理、智能客服、内容生成等众多领域展现出了强大的实力。然而，随着人工智能技术在特定领域和垂直行业的深入应用，我们逐渐发现，一些专业场景下的大模型面临着新的挑战。这些特定领域和垂直行业的大模型，由于训练数据和应用场景的特殊性，往往本身不具备或者无法直接执行某些特定的工具调用。例如，在医疗领域，大模型可能需要调用专业的医学诊断工具来获取准确的诊断结果；在金融领域，可能需要调用实时的金融数据接口以进行精准的风险评估。

简单来说，它就是在不提供任何示例的情况下，直接告诉AI模型你想要它完成什么任务，让模型完全依靠其预训练知识来理解并执行任务[9]。随着技术的发展，零样本提示将在人工智能应用中发挥越来越重要的作用，成为人机交互的重要桥梁。零样本提示作为提示工程的基础技术，展现了大语言模型强大的泛化能力和理解能力。虽然存在一些局限性，但通过合理的设计和优化，零样本提示能够在大多数常见任务中发挥出色的效果。这就是零样本提示的工作原理。知识边界限制：模型只能基于预训练数据中的知识，对于全新的概念或最新信息可能无法准确处理。

大模型具有一个十分强大的功能就是可以自主调用外部工具函数，以自主意识的形式借用工具，完成使用者发布的命令。这意味着大模型不再只是一个被动的执行者，而是一个具有主动性的智能助手。大模型的工具调用功能是一项具有划时代意义的进步。这一功能的实现，使得大模型不再局限于自身数据库知识的回答，而是跃进到了一个全新的层次—调用外部函数，其调用流程如图9-1所示。图9-1 大语言模型的工具调用功能这意味着大语言模型在与用户交互时，可以实时检索外部函数库。

本节将从提示词工程的理论基础出发，深入探讨其在人工智能应用中的核心概念、技术原理和实践方法。通过系统性地分析提示词设计的认知机制和优化策略，结合具体应用场景的实例剖析，旨在为读者构建完整的提示词工程知识体系，并提供可操作的技术指导框架。

A2A被定义为一个用于AI智能体的通信协议。可以把它想象成一种标准化的通用语言，任何AI智能体都可以用它来与任何其他智能体对话，而无论它是由谁构建的，或者运行在什么框架上。如果没有A2A，如果试图让智能体A直接与智能体B对话，这将是一件比较困难的事情。因此A2A应运而生，它是让不同智能体互相共享信息、寻求帮助、协调任务的桥梁，是不需要自定义的“胶带代码”。简单来说，A2A之于AI智能体，就像互联网协议之于计算机—它赋予智能体一种通用的网络语言。

然而，当前模型在多模态推理的细粒度理解、跨模态信息融合的准确性方面仍存在一定局限，未来的研究需要进一步提升模型的通用性与鲁棒性。然而，医疗数据的隐私保护、模型解释性以及临床验证的严格要求，使得多模态模型在该领域的落地过程较为谨慎和缓慢。通过对图像、文本、声音等多种模态数据的联合建模，模型能够创作符合语境需求的内容，如自动生成图像描述、创作艺术作品、编辑视频片段等。尽管仍存在诸多技术挑战，其在实际应用中取得的初步成果表明，多模态大模型可能会在智能系统的认知与交互能力方面带来实质性的提升。

多模态大模型介绍（之一）-优快云博客目录3.3.6 LLaVA3.3.7 VisCPM3.3.8 GPT-4V和GPT-4o3.3.9 Qwen-VL和Qwen-VL-Max3.3.10 Gemini+2.5LLaVA（Large Language and Vision Assistant）[45]是由UC Berkeley等机构于2023年提出的一种开源视觉语言大模型，旨在将预训练视觉编码器与强大的语言模型进行深度融合，从而实现高效的图文联合理解与对话能力，模型结构如图3.14所示。图3.14

本文设计一个分层Agent跨境电商智能客服架构，智能客服设计人员可借鉴思路。随着生成式AI的演进，LLM已突破传统对话系统的边界，开始展现出元认知能力。通过将大语言模型与工具调用接口、记忆存储模块、强化学习框架集成，新型AI系统不仅能理解抽象目标，而且能自主规划任务路径、实时获取异构数据、动态调整行动策略，这种具备“目标-决定-执行”三重能力的智能形态，正推动AI从被动工具向主动协作伙伴的范式转变。

随着多模态数据规模的激增与计算资源的不断增强，近年来多模态大模型（MLLM）成为推动人工智能通向通用智能的重要路径之一。它们不仅在视觉问答、图文生成、跨模态检索等任务中展现出卓越能力，还成为构建新一代智能交互系统的关键基础设施。本章将从模型架构、核心技术、训练规模到典型应用等方面，详细介绍当前具有代表性的多模态大模型，帮助读者全面理解其技术架构、创新点与应用潜力。

多模态大模型的发展是人工智能技术演进过程中极具代表性的方向之一，其核心在于通过统一架构处理图像、文本、语音、视频等多种模态，实现跨模态的理解、生成与推理任务。该领域的发展大致经历了以下四个阶段：早期特征拼接模型阶段、融合与对齐技术阶段、大规模对比预训练阶段，以及当前迈向通用人工智能的统一多模态大模型阶段。

在人工智能技术蓬勃发展的浪潮中，智能体作为实现复杂任务自主处理的核心载体，其技术演进路径成为推动人机协同与智能系统升级的关键方向。当前，智能体技术正从单一功能模块向具备高度自适应与泛化能力的复杂系统转变，这一进程深刻体现在架构设计、知识管理与交互策略的多维度突破中。智能体的组件模块如图6-2所示。图6-2 智能体的组件模块“感知-决策-执行”闭环架构作为智能体的核心骨架，通过多模态感知融合与实时决策优化，使智能体能够在动态环境中实现精准行动与快速响应；

为了实现对图像、文本、音频、视频等多种模态信息的统一建模，多模态大模型在架构设计上发展出多种范式。不同架构在输入融合方式、模态对齐策略、信息传递路径等方面各有侧重。总体而言，当前主流多模态大模型的架构可归纳为以下几类：编码器-解码器架构（encoder-decoder）、双编码器架构（dual-encoder）、统一Transformer架构（unified Transformer）、交叉注意力融合架构（cross-attention fusion）以及模块化架构（modular design）等。

例如，在自动驾驶领域，自主智能体需要实时感知道路状况、交通信号和其他车辆的位置，根据预设的路线和安全规则，自主地控制车辆的行驶速度和方向。因此，如何确保自主智能体的行为符合人类的伦理和道德标准，如何建立有效的监管机制，防止自主智能体被滥用，是急需解决的问题。此外，自主智能体的广泛应用还可能会对就业市场产生影响，一些重复性、规律性的工作可能会被自主智能体取代，需要社会提前做好应对准备，加强教育和培训，提高劳动者的技能水平，以适应新的就业形势。自主智能体需要在复杂的环境中，根据感知到的信息，做出合理的决策。

RAG是一种结合信息检索与文本生成技术的新型人工智能范式，旨在通过融合外部知识库中的结构化或非结构化信息，提升大模型在复杂问答、推理任务中的表现能力。其核心思想是将传统的自然语言处理流程拆解为两个关键阶段：首先利用高效的检索机制从大规模知识源中提取与用户问题相关的信息片段，然后基于这些信息构建上下文提示，并输入生成模型中进行答案生成。这种“先检索后生成”的架构打破了传统大模型依赖内部参数记忆知识的局限性，使得系统能够在不重新训练的前提下动态接入最新的、特定领域的知识内容。