拥抱 AGI 时代的中间层⼒量:AI 中间件的机遇与挑战

相位编码脉冲压缩信号的理论研究与 Matlab 实现 通过实际的代码示例,我们展示了如何生成信号、进行相位编码、传输信号、相位解码和脉冲压缩的步骤。相位编码脉冲压缩信号是通过在发射端对信号进行相位编码,并在接收端对信号进行相位解码来实现的。其主要原理是在发射端将信号的频率进行调制,使得信号具有宽带特性,然后在接收端通过匹配滤波器对信号进行解调和压缩,从而提高信号的分辨率和抗干扰能力。相位编码脉冲压缩信号是一种在信号处理中常用的技术,用于提高信号的分辨率和抗干扰能力。可以使用 Matlab 中的信号生成函数生成一个宽带脉冲信号,例如矩形脉冲信号或高斯脉冲信号。 阅读详情

宋顺(齐天)

Apollo Config PMC

蚂蚁集团资深技术专家

在微服务架构、分布式计算等领域有着丰富的经验,2019 年加入蚂蚁集团,致力于推动 AI 与中间件技术的融合与落地。

毕业于复旦大学软件工程系,曾就职于大众点评、携程,负责后台系统、中间件等研发工作。曾多次在 QCon、KubeCon、OpenInfra Days 等技术会议发表演讲并获得明星讲师称号。

本文 8922 字,预计阅读 15 分钟 


大模型的发展趋势:

从能力跃迁到生态开放

近年来,人工智能领域最引人注目的进展莫过于大模型的飞速发展。这些模型以其惊人的学习能力和泛化能力,正在深刻改变我们对 AI 的认知,并推动着 AGI(通用人工智能)的梦想从科幻走向现实。大模型的发展呈现出两大核心趋势:模型能力的持续跃迁和模型生态的日益开放。

1.1 模型能力持续跃迁

大模型的能力提升并非一蹴而就,而是通过持续的迭代和技术创新逐步实现的。从最初的文本生成到如今的多模态理解与推理,大模型展现出越来越接近人类的智能水平。以 OpenAI 的 ChatGPT 系列为例,其演进路径清晰地描绘了这一能力跃迁的过程:

  • 语言能力的显著增强:从 GPT-3.5 到 GPT-4,模型在语言理解、生成和逻辑推理方面取得了质的飞跃。GPT-4 在处理复杂问题、生成高质量文本以及进行多语言翻译方面表现出远超 GPT-3.5 的能力,这使得大模型能够更深入地理解语境,生成更连贯、更准确的内容。

  • 多模态能力的突破:随着 GPT-4o 的发布,大模型不再局限于文本,开始原生支持文本、音频、图像和视频的任意组合输入与输出。这意味着模型能够同时处理和理解多种类型的数据,例如通过文字对话、上传图片或音频,让模型同时处理这些信息,从而实现更自然、更丰富的交互体验。这种多模态能力极大地拓展了 AI 的应用边界,使其能够更好地感知和理解真实世界。

  • 推理能力的深化:OpenAI 推出的 o1 模型,则进一步强调了大模型的推理能力。o1 模型通过强化学习训练,能够在回答问题前进行“思考”,生成内部思维链,从而执行更复杂的推理任务,尤其在编程和数学推理领域表现出色。这标志着大模型正从基于知识记忆的“快思考”向具备深度逻辑分析的“慢思考”迈进,使其能够解决更具挑战性的问题。

  • 工具使用能力的拓展:随着 o3 模型的推出,大模型开始具备自主调用和整合工具的能力。这意味着模型不仅能够理解问题,还能自主选择并使用外部工具(如网络搜索、代码执行器、数据分析工具等)来解决问题。这种能力使得 AI Agent 能够与环境进行更深层次的互动,从而实现更复杂的任务自动化。

除了 OpenAI 系列,其他领先的大模型也在各自领域展现出强大的能力。例如,Google 的 Gemini 模型以其强大的多模态推理能力著称,能够同时理解并处理文字、图片、语音等多种数据形态,并在复杂编码和分析大型数据库方面表现出色。Anthropic 的 Claude Sonnet 4 则在编程和推理方面表现优异,被认为是当今顶尖的编程助手之一。这些模型的不断涌现和能力提升,使得 AGI 的梦想不再遥远。与 IBM Watson、DeepBlue、Google AlphaGo 等专注于特定领域的 Narrow AI(狭义人工智能)不同,在 LLM(大型语言模型)的加持下,AI Agent 具备更泛化的理解、推理和规划能力,能够解决更多通用问题,有望朝通用智能方向持续演进。

1.2 模型生态日益开放

与专有模型(如 OpenAI 的闭源模型)并行发展的是开源大模型的蓬勃兴起。

  • 开源浪潮的兴起:从 Meta 发布 LLaMA 系列开源模型开始,到国内外诸多团队先后推出开源的 QWen、DeepSeek、Kimi、Mistral 等高质量开源模型,使得大模型技术不再是少数科技巨头的专属。这些开源模型不仅提供了强大的基础能力,还允许开发者自由获取、使用和微调,极大地降低了 AI 开发的门槛。

  • 开源模型能力的赶超:值得注意的是,部分开源模型的能力正在迅速逼近甚至在某些特定任务上赶超专有模型。例如,DeepSeek R1 和 Kimi K2 等开源模型在推理能力和代码生成方面展现出令人瞩目的表现,这种趋势使得高质量的 AI 能力不再是少数巨头的专属资源,各行各业均可低成本获取强大的模型能力。

这一趋势正在推动 AI 应用进入全面爆发期 —— 就像 Linux 打破操作系统垄断后释放的创新能量一样,开放的大模型生态正在孕育丰富多样的智能应用,为产业智能化转型注入强劲动力。

AI 应用的演进:

从聊天机器人到组织级智能体

2.1 AI 应用的演进路径

大模型能力的飞速发展,直接推动了 AI 应用形态的深刻变革。OpenAI 在内部会议中曾指出一条通往 AGI 的路径(如图 1 所示),为我们理解 AI 应用的演进提供了富有洞察力的框架 [1][2]:

  • Level 1:AI with conversational language capabilities(具备对话语言能力的 AI):这一阶段的 AI 主要表现为聊天机器人,能够进行流畅的文本对话,理解并回应用户的指令。早期的 ChatGPT 便是这一阶段的典型代表。

  • Level 2:AI with human-level problem-solving abilities(具备人类水平问题解决能力的 AI):在此阶段,AI 开始展现出更强的推理能力,能够解决复杂的数学和逻辑问题。它们不再仅仅是信息检索工具,而是能够进行深度思考和分析的“推理者”。DeepSeek R1 是这一阶段的典型代表。

  • Level 3:Systems that can take actions on behalf of users(能够代表用户采取行动的系统):这一阶段的 AI 被称为“智能体”(Agent),它们不仅能思考,还能通过调用工具与外部环境互动,自主完成任务。例如,通过代码执行器、浏览器等工具,AI 能够执行更广泛的操作。近期很火热的 Manus、Claude Code 等即符合此阶段定义。

  • Level 4:AI that can aid in invention and discovery(能够辅助发明和发现的 AI):这一层级的 AI 能够进行更深层次的创造性工作,辅助人类进行科学研究、新材料发现等。

  • Level 5:AI that can perform the work of an entire organization(能够执行整个组织工作的 AI):这是 AGI 的终极目标,AI 能够像一个完整的组织一样运作,自主完成各项业务流程,实现全面的智能化。

图1

图片来源:https://www.linkedin.com/posts/gusmclennan\_openai-agi-aiprogress-activity-7238696300790038530-rmjk/

目前来看,AI 应用的发展正沿着这一趋势稳步前进。从一开始面世的 ChatGPT 聊天机器人,到后来具备联网搜索能力,再到通过思考 + 多轮检索实现深度研究,以及近期各类 Agent 应用的层出不穷,都印证了这一演进路径。

2.2 AI Agent 的爆发

最近半年,AI Agent 领域呈现出爆发式增长,涌现出大量通用型和垂直领域的智能体:

  • 通用 Agent:例如 Manus、Genspark、ChatGPT Agent 等,它们旨在解决更广泛的通用问题,通过集成终端、浏览器、电脑等工具,为用户提供一站式服务。这些通用 Agent 在处理日常任务、信息查询、内容创作等方面展现出强大的潜力。

  • 专业 Agent:针对特定领域,出现了大量专业性极强的 Agent,例如 Claude Code、Gemini CLI、Qwen Code 等 Coding Agent 以及 Cursor、Trae、Kiro 等 AI Coding IDE,它们能够辅助甚至自主完成代码编写、调试、测试等任务,极大地提升了开发效率。

这些 AI Agent 相比其它 AI 应用核心的差异在于它们学会了使用工具,并能与环境(如终端、浏览器、电脑)产生互动。其背后是基于强化学习微调(Reinforcement Fine-Tuning,RFT)驱动的自主学习,使得模型能够掌握如何有效地使用这些工具来解决问题。

值得一提的是,这类 Agent 在执行过程中仍保持“人类在环”(Human in the Loop):比如 ChatGPT Agent 在进行可能有重要影响的操作(如下单购买)前,会请求用户确认,Claude Code 在执行有风险的终端命令时也会停下来让用户审阅,以确保安全可控。

2.3 通用 Agent 与垂直 Agent 并存互补

随着大模型能力的增强,一个疑问随之而来:未来是否只需少数几个通用 Agent 就能通吃所有任务?还是说,不同行业仍需要各自领域的垂直 Agent?

目前业内尚无定论。但许多实践者倾向于后者,即垂直领域智能体依然有其不可替代的价值。原因在于,业务场景往往需要深度集成领域知识、专有数据和特定工具,这些属于模型外部知识与接口,需要在 Agent 层面进行整合优化。以一个企业的智能客服 Agent 为例,它需要:

  • 深度的业务知识 (External Knowledge):精准理解公司的产品手册、服务条款和业务流程。

  • 个性化的用户记忆 (Memory):了解用户的历史订单、服务偏好和沟通习惯。

  • 专有的业务工具 (Tool):能够调用内部的订单查询、退款处理、物流跟踪等 API。

这些与业务场景深度绑定的上下文信息,是通用 Agent 难以企及的。同时,基础模型的训练周期长、成本高,无法跟上业务的快速变化。因此,在强大的基础模型之上,构建一层能够深度集成业务知识、数据和工具的垂直 Agent,将是未来企业 AI 应用落地的必然选择。因此可以预见,未来相当长一段时间内,通用 Agent 与垂直 Agent 将并存互补:前者解决共性的问题,后者深入行业的长尾需求。

更远的未来,还可能出现具有具身智能的 Agent,即赋予 AI 更多物理世界的感官和行动能力。在文字、语音、图像之外,研究者正尝试让智能体接入嗅觉、味觉、触觉等传感器,并通过机械臂、机器人等工具来影响现实环境。

AI 应用的演进,本质上是模型与环境(浏览器、代码、API、物理世界)的互动过程。这个过程离不开模型能力的提升,但也面临着 Agent 研发、多智能体协作、RAG 效果、模型幻觉、工具使用等一系列工程化挑战。而解决这些挑战的核心,正是 AI 中间件。

中间件的机遇与挑战

在分布式系统和云原生时代,中间件通过屏蔽底层复杂性、提供标准化接口,大幅提升了软件研发效率。同样地,在 AI 时代,涌现出的 AI 中间件正扮演类似的角色 —— 作为连接基础大模型和具体应用的“中间层”,为开发者提供构建智能应用所需的一系列基础能力和框架。在这部分,我们将探讨 AI 中间件所蕴含的机遇,以及在落地过程中面临的挑战。

3.1 AI 中间件的机遇

3.1.1 Agent 研发提效

开发一个功能完善的 AI Agent 涉及到模型调用、向量检索、提示词设计、工具集成、对话管理等诸多环节。AI 中间件可以提供一站式的 Agent 研发框架,将这些常用功能模块化、标准化,显著降低开发门槛。例如:

  • 对底层 LLM 做抽象封装,方便切换不同模型。

  • 提供 ReAct 模板以支持推理 - 行动交替的链式思考。

  • 无缝集成 RAG(检索增强生成)、短 / 长期记忆库、以及各种外部工具插件等。

此外,考虑到 Agent 的运行通常是事件驱动、高并发但单次耗时不定,引入无服务器架构(Serverless/FaaS)作为 Agent 的运行时将大有裨益。这种模式下,当有任务请求时自动调度算力实例执行 Agent,空闲时则释放资源,可弹性扩展且降低运维成本。

再者,随着 Agent 变得越来越复杂,评估测试亦变得重要:中间件有机会提供类似单元测试(UT)或集成测试(IT)的 Agent Evaluation 框架,模拟各种环境反馈来验证 Agent 的决策和输出质量,形成研发闭环。

综合来看,围绕 Agent 全生命周期(开发 - 部署 - 监控 - 评测)提供支持,将是 AI 中间件大展身手的舞台。

3.1.2 上下文工程(Context Engineering)

构建 AI Agent 很大程度上是在工程化地管理上下文,一个 Agent 的上下文通常由多种要素构成[3]:

  • Instructions(指明角色和职责)

  • Examples(Few-shot 例子,实现 In-context learning)

  • External Knowledge(通过检索注入的业务知识或事实)

  • Memory(会话历史、用户偏好等)

  • Messages/Tool Results(用户的输入、工具调用的结果等)

  • Tool Descriptions(工具描述)

如何将这些丰富的信息高效地拼装到提示词(Prompt)中,是一门新的工程学问。

AI 中间件在这里大有可为:一方面可以提供上下文模版和编排工具,根据不同场景自动拼接出最优提示组合。另一方面可以结合模型的注意力机制特点,对上下文进行缓存和裁剪优化。例如,Manus 项目分享的经验是尽量保持 Prompt 前缀稳定,以利用 KV-Cache 提速,每次交互只增量添加新内容[4]。如图 2 所示,在多轮对话中,如果在上下文开头保持指令和既有对话不变(Cache Hit 部分),模型只需针对新增的片段计算注意力,从而大幅降低每步的推理开销。

图2

图片来源:https://manus.im/blog/Context-Engineering-for-AI-Agents-Lessons-from-Building-Manus

此外,也需要考虑模型最大上下文长度的限制。尽管新技术(如 DeepSeek 提出的 NSA 机制)正将上下文窗口推进到百万 Token 级别,但注意力机制的计算开销决定了上下文不可能无限增长。因此,我们还需要实现上下文压缩策略:比如对过长的历史对话进行摘要、对不变的知识内容进行索引引用而非全文嵌入,或者引入分层内存,让 Agent 在必要时自行查询长时记忆,而非每次都完整拼入上下文等。

3.1.3 记忆管理

人类智能的一大关键是记忆,同样在 AI Agent 中也需要构建类似的记忆模块。AI 中间件可以提供便捷的短期和长期记忆功能:

  • 短期记忆主要指 Agent 在单次对话或任务过程中的信息留存,如多轮对话内容、当前需要关注的对象列表、已使用的工具结果等。

  • 长期记忆则是跨会话、跨任务的持久记忆,如用户偏好、业务知识库、历史决策经验等。例如 Anthropic 的 Claude Code 把 CLAUDE.md 文件作为项目记忆,在每次对话开始时自动加载,里面记录了该项目的代码结构、命名风格、常用命令等信息。这样 Claude Code 在写代码时就始终牢记项目的背景知识和规范,大幅提高了配合度。同理,面向客服领域的 Agent 可能需要长期记忆用户的身份、购买历史和偏好,而面向内容创作的 Agent 则需记住以往生成的内容避免重复。

中间件可以统一管理这些不同层次的记忆:提供 API 读写用户画像或业务数据,让开发者方便地把外部记忆接入模型上下文。同时在内部实现记忆压缩和更新策略,如定期摘要长对话、淡化过时信息并强化最近互动等。

3.1.4 工具使用与扩展

如前文所述,工具调用能力是现代 AI Agent 的核心特征之一。AI 中间件在这方面的机会在于建立标准化的工具接入机制,丰富可供 Agent 使用的工具集。

Anthropic 等提出的 Model Context Protocol (MCP) 是一种探索:通过定义统一协议,任何开发者都可以将外部数据源或 API 封装成 MCP 工具,注册到 Agent 的“工具箱”中。这样,Agent 在对话中发现用户请求需要调用某工具(比如数据库查询或第三方服务)时,可以按照协议发送结构化指令给工具执行,并获取结果实时返回。

中间件有望提供类似“应用商店”的产品,聚合各种行业常用工具供 Agent 按需调用。当然,在扩充工具供给的同时也需注意安全与性能问题:应对每个接入工具进行沙箱隔离,防止恶意工具危害系统,并加入配额和超时控制,以免工具调用拖慢整体响应。

同时,Agent 在大量工具中如何选择适用的一个也是挑战。Manus 团队曾指出,如果给 Agent 插入过多工具描述,模型可能反而变“笨”,因为选择空间大容易出错[4]。未来可能需要引入工具调度优化算法,如根据对话上下文智能筛选出相关工具供模型选择,或采用分层提示先让模型思考需要哪类工具,再从该类别中调用,以提升工具使用的准确率等。

3.1.5 沙箱环境与安全

为了让 Agent 安全地使用工具,沙箱运行环境也是必不可少。

典型场景如代码执行工具,需要在受控的沙箱中运行用户或模型生成的代码,既避免对宿主系统造成危害,也便于捕获执行结果提供给模型。在 OpenAI 的 Code Interpreter 和 Operator 中,他们为模型配置了隔离的 Python 执行环境和网络浏览器,确保模型不会直接接触生产系统而引发不可控的后果。这种机制同样适用于企业内部的 Agent 平台 —— 我们可以为每种工具制定权限,比如哪些 API 可以调用、调用频率限制等,并对敏感操作(如下单、转账)设置人工审批流程。

除了 Agent 使用外,沙箱环境也是通过强化学习微调(RFT)让模型自主学习使用工具的必要基础设施。

3.1.6 多智能体协作

当单个 Agent 无法高效完成复杂任务时,引入多个智能体分工合作是一条自然思路。AI 中间件可以提供多 Agent 管理和编排功能:

  • 一方面,多智能体可以提升任务的并行处理能力 —— 例如在一个项目中,拆分出不同 Agent 分别负责数据收集、方案规划、执行实现等,互相协作加速完成整体任务。

  • 另一方面,“术业有专攻”,不同 Agent 可以各自具备专长(类似人类团队中的前端工程师、后端工程师、测试工程师等角色),从而提升专业性并隔离上下文,避免一个 Agent 需要装载过多领域的知识导致认知负荷过大。

然而,多智能体系统也带来了新的复杂性,例如如何设计 Agent 之间的通信协议和共享内存,如何避免多个 Agent 重复或冲突操作,以及在大规模 Agent 集群下进行有效的调度和编排。

未来如果企业希望部署一个包含数十上百个 AI Agent 的“数字员工”团队,那么一个强大的平台来管理这些 Agent 的生命周期、权限和协作将是必不可少的。

3.1.7 多模态支持

人类智能是多模态的,AI 要真正达到类人水平,也需要处理语言、视觉、听觉甚至传感器数据等多种信息流。

最新的大模型(如 GPT-4o、Qwen2.5-Omni 等)已在架构上支持多模态输入输出,AI 中间件应该顺应这一趋势,提供多模态数据处理管道。

短期来看,Agent 研发框架可以集成图像识别、语音合成、OCR、视频理解等模块,并将它们作为工具供 Agent 调用。例如用户给 Agent 上传了一张报表截图,可以先通过 OCR 提取文字,再传给模型分析;再如用户通过语音给 Agent 下指令,通过实时转写文本供模型理解,并将模型回答以语音播放出来。这些输入输出模态的转换对于用户来说应该是无感且顺畅的。

长期来看,随着真正多模态模型的成熟,可以省去上述转换步骤,直接利用模型对原始多模态数据的处理能力。不论如何,实现流式、多模态的人机交互将极大拓展 AI 应用的边界,也是中间件需要重点支持的发展方向。

3.2 AI 中间件面临的挑战

尽管机遇广阔,AI 中间件的发展也面临诸多挑战。

3.2.1 复杂上下文的构建与优化

虽然上下文工程为 Agent 带来了灵活性,但如何管理不断膨胀的上下文是巨大的挑战。

一方面,要制定合理的上下文组装策略,确保提供给模型的信息既全面又高效。但另一方面,每个应用对上下文的偏好可能不同,如何提供足够的定制能力也是问题。

此外,随着 Agent 工具的增多和对话轮次的累积,上下文长度可能迅速逼近模型上限。因此,我们需要实现上下文裁剪和压缩机制:何时丢弃某些不再需要的历史,何时将一段对话归纳为要点等。这是一项需要平衡准确性和效率的工作。如果处理不好,可能出现知识遗忘(丢掉了还需要的信息)或语义错误(压缩导致意思改变)。因此,打造智能的上下文管理模块是中间件面临的一大挑战。

3.2.2 持久记忆的更新与利用

引入长期记忆后,新的问题随之而来 —— 如何持续更新记忆并确保正确利用?

例如客服场景下用户的个人资料可能不断变化,如果记忆模块没及时更新,会导致 Agent 基于过期信息回答。另外,当记忆越来越庞大时,检索效率和准确率都会下降。若 Agent 检索记忆时选错了条目,可能与事实不符,进而引发幻觉式回答。

因此,中间件在实现记忆库时需要攻克:记忆的组织索引(如采用向量数据库还是知识图谱,如何支持模糊查询)、记忆的演化(如何合并新信息,遗忘旧信息)以及冲突消解(当新旧记忆矛盾时如何判断可信度)等难题。这类似于人脑中的“记忆巩固”过程,需要策略地反复强化重要记忆、淡化无用记忆。

3.2.3 检索增强生成(RAG)的效果优化

RAG 技术通过检索外部知识来增强模型回答的准确性,被广泛用于企业知识问答等应用。然而 RAG 也有两个绕不过去的问题:检索质量和检索速度。

质量方面,如果文档库本身存在瑕疵(如包含错误信息或不相关内容),Agent 检索后反而会被误导。即便知识库正确,检索算法也可能因为语义匹配不佳而找错资料。

速度方面,当知识库规模巨大时,如何在毫秒级完成语义搜索是工程难点。目前的一些向量数据库和索引技术(如 HNSW、Faiss 等)能支持十万量级条目上的快速近似搜索,但面对数亿甚至更多文档时仍需分片、分层等复杂架构。

3.2.4 Agent 行为的评估测试

传统软件有完善的测试框架(单元测试、集成测试等)保障质量,而 AI Agent 的行为测试目前仍缺乏成熟的方法。

一方面,Agent 的输出具有概率性和多样性,相同输入在不同时刻可能得到不同的结果,这给定性测试带来了困难。另一方面,Agent 所处的环境是开放的(尤其能访问外部系统时),难以完全模拟所有可能的情境。

如何构建一个模拟环境或沙盒测试框架,让 Agent 在其中执行任务、收集其每一步决策,并判断对错,是中间件需要解决的难题。

3.2.5 工具使用的风险与管控

工具的双刃剑属性在挑战部分更为凸显。随着 Agent 能调用的工具从只读查询扩展到读写执行,其潜在风险也上升了。让 AI 发出 API 请求获取数据通常是安全的,但让 AI 去执行一段代码或控制物理设备,就必须慎之又慎。

首先,需要提供完善的权限控制:为不同工具设定权限边界,例如哪些文件系统路径可访问,网络请求可以访问哪些域名等。

其次,需要审计机制:应记录 Agent 使用每个工具的详细日志,以供事后审计和问题追溯。

再者,当 Agent 的操作涉及重要事务(如财务交易),必须有人类复核:这其实涉及 Human in the Loop 的设计,需要考虑如何把人类的交互无缝地融入到 Agent 的工作流程中。

最后,合规也是工具使用的一部分:比如如何防止 Agent 通过浏览器获取到了用户未授权的信息等,这些都需要在中间件层面加以限制,确保 AI 的行为符合法律规范和道德标准。

简而言之,让 Agent 会用工具远远不够,还得让它安全地用、正确地用,这是中间件需要肩负的责任。

3.2.6 沙箱环境的性能与成本权衡

在机遇部分提到沙箱是必要的,但部署沙箱意味着额外的性能开销和成本负担。

在一个高实时性要求的场景,比如金融交易决策 Agent,每秒都需要进行环境感知和决策,若把其工具执行放在沙箱中可能难以满足时延要求。这就需要权衡哪些任务必须原生执行,哪些可以在沙箱异步处理。

另外,沙箱通常意味着需要模拟一个完整的运行环境,如容器或虚拟机,这带来了资源开销。当并发的 Agent 很多时,维护大量隔离环境可能消耗大量内存和 CPU,需要考虑采用更轻量的隔离技术来减轻负担。

还有安全与便利的权衡:完全断网的沙箱最安全,但有时 Agent 确实需要访问互联网。给予 Agent 自由执行命令的权限最灵活,但风险也最高。

最后,沙箱也涉及跨平台支持问题 —— 企业应用环境多种多样,Windows、Linux、云端、本地都有,如何提供一致的沙箱体验并简化配置,是产品化的考验难题。

AI 中间件的未来发展方向

短期而言,中间件的使命是解决 “AI 应用规模化” 的最后一公里问题,让开发和部署智能应用像今天开发 Web 和移动应用一样快捷高效。这包括提供更高层次的抽象、自动化的优化调优,以及降低运维成本的托管平台等。这将大大加速各行业拥抱 AI 的速度,让中小型团队也有能力打造自有的 AI 助手或产品。

长期来看,AI 中间件有潜力成为组织智能的“神经中枢”。就像人脑依赖中枢神经系统连接感官与肌肉、协调全身行动一样,一个大型组织的 AI 中间件将连接其内外部的模型、大数据和业务系统,让 AI 真正融入业务流程并产生协同效应。

面向未来十年,AI 中间件的发展才刚刚起步,其重要性和影响力会日趋凸显。从最初的聊天机器人到未来组织级智能体,我们正在见证一场技术范式的更替。就让我们拥抱这一变革,发挥中间层的力量,携手打造更智能、高效和美好的未来。

写在最后

当 AI 能力从“稀缺资源”变为“通用能力”,真正的挑战转向工程化与规模化落地。我们关注的,不是模型参数的差异,而是如何构建一个复杂、多模态、具协同行为的 AI 系统,并让它在真实世界中稳定运行。

在 10 月 23–25 日的 QCon 上海站,我策划了「AI 中间件:加速智能应用开发」专题,聚焦 Agent 协作、RAG 优化、工具链集成等关键技术,探讨 AI 应用如何真正落地、生长。如果你也在构建 AI 应用中间层,欢迎加入共建、分享、交流。

参考资料

[1] OpenAI unveils roadmap to AGI: Agents, Innovators, and Organizations
https://www.neowin.net/news/openai-unveils-roadmap-to-agi-agents-innovators-and-organizations

[2] Understanding OpenAI's Five Levels of AI Progress Towards AGI
https://quinteft.com/understanding-openais-five-levels-of-ai-progress-towards-agi

[3] A Guide to Context Engineering for PMs
https://www.productcompass.pm/p/context-engineering

[4] Context Engineering for AI Agents: Lessons from Building Manus
https://manus.im/blog/Context-Engineering-for-AI-Agents-Lessons-from-Building-Manus

图片

自定义Usecase/Pipeline Summary of Custom Usecase and Pipeline Configuration in SA8650 QCX Framework This article elaborates on the complete process of customizing a new Usecase and Pipeline based on the SA8650 QCX framework to meet OEM and Tier1 customization requirements, with 阅读详情

相关推荐

华硕电脑Win10改Win7系统:BIOS设置详解

通过上述步骤,华硕电脑用户可以将系统从Windows 10更改为Windows 7。虽然这个过程可能涉及一些技术细节和潜在的风险(如数据丢失和驱动不兼容),但只要按照指南仔细操作并做好准备工作,大多数用户应该能够成功完成系统回滚。请记住,在进行任何系统更改之前都要备份重要数据,并确保已了解所有潜在的风险和限制。希望本文能够帮助到需要回滚到Windows 7的华硕电脑用户!

nntxthml的博客 2262

Service Mesh 在『路口』的产品思考与实践:务实是根本

Kubernetes & Cloud Native X Service Mesh Meetup 活动现场分享一、引言Service Mesh 是蚂蚁金服下一代架构的核心,经过了2...

金融级分布式架构 580

STM32CubeIDE之SHT3X温湿度传感器移植HAL库

有了前面的OLED的学习,这个学习起来也很快。 分以下几步走 1.你要有个温度传感器,SHT3X这个型号的,因为我要讲这个 2.你要有个STM32开发板(我用的是STM32L431RCT) 3.顺便找台电脑下载一个STM32CubeIDE 4.简单的找一个SHT3X的驱动,我是去某宝嫖的,一般卖这个的都有,这个驱动分两个文件,是.c和.h的,我直接把这两个放在下边 读了我上一篇的人,看这个应该很熟悉吧,一样的套路,学习方法是一样的,你就照搬就行 下面是sht3x.c的原文档,里面有个CRC..

qq_47736089的博客 2315

蚂蚁Service Mesh大规模落地实践与展望

宋顺读完需要10分钟速读仅需 5 分钟云原生的理念正如火如荼,然而真正大规模落地的公司依然屈指可数,蚂蚁作为国内比较早进行尝试的公司,经过了 2 年多的探索,沉淀出了一套切实可行的方案并...

中生代技术 523

如何找回mysql删除的表_mysql误删表如何恢复,恢复被删除表的步骤说明

小编寄语想必大家都知道,Oracle ACE李真旭(Roger)是国内最专业的Oracle 数据库恢复专家。但知识都是触类旁通,真正的专家,从来不会局限在一个方向上。今天分享的内容,是他在MySQL数据恢复上所做的尝试。本文主要分享在没有备份的情况下,MySQL数据库如何恢复被删除的表。包含两个主要的场景:1、drop table后的恢复2、truncate table后的恢复正文:我们都知道,M...

weixin_35725389的博客 6783

web渗透学习手册

依据多年的渗透测试项目经验及个人理解,对漏洞分类

渗透之路,攻防之间皆学问 1万+

SOFA Weekly 年末特辑|SOFAer 开源年度、社区本周贡献、本周推荐阅读

rchitecture Stack)是蚂蚁集团自主研发的金融级云原生架构,包含了构建金融级云原生架构所需的各个组件,包括微服务研发框架,RPC 框架,服务注册中心,分布式定时任务,限流/熔断框架,动态配置推送,分布式链路追踪,Metrics 监控度量,分布式高可用消息队列,分布式事务框架,分布式数据库代理层等组件,也是在金融场景里锤炼出来的最佳实践。从“云原生”到“智能原生”,AI 中间件走到哪一步了?SOFAer 开源年度 · 新春贺岁。筛选每周精华问答,同步开源进展。

金融级分布式架构 59

【2025CSPJ普及组】T4. 多边形

【2025CSPJ普及组】T4. 多边形【题目描述】小 R 喜欢玩小木棍。小 R 有 n 根小木棍,第i(1≤i≤n) 根小木棍的长度为 ai。

lybc2019的博客 849

SOFA Weekly|开源之夏新晋「开源人」的实战报告、社区本周贡献、本周推荐阅读

rchitecture Stack)是蚂蚁集团自主研发的金融级云原生架构,包含了构建金融级云原生架构所需的各个组件,包括微服务研发框架,RPC 框架,服务注册中心,分布式定时任务,限流/熔断框架,动态配置推送,分布式链路追踪,Metrics 监控度量,分布式高可用消息队列,分布式事务框架,分布式数据库代理层等组件,也是在金融场景里锤炼出来的最佳实践。拥抱 AGI 时代的中间层⼒量:AI 中间件的机遇与挑战。从“云原生”到“智能原生”,AI 中间件走到哪一步了?筛选每周精华问答,同步开源进展。

金融级分布式架构 107

CEEMDAN算法及其应用

本博文主要介绍CEEMDAN算法的原理及其在信号去噪方面的应用

总结论文中的算法并给出论文的复现代码 6万+

网络攻防——kali操作系统基本使用

主要介绍如何搭建kali虚拟机,然后介绍了一个简单的攻击方法,切记,网络恶意攻击属于违法行为

weixin_46560512的博客 2万+

SOFA Weekly|SOFAStack 社区开源 8 周年、社区本周贡献、本周推荐阅读

rchitecture Stack)是蚂蚁集团自主研发的金融级云原生架构,包含了构建金融级云原生架构所需的各个组件,包括微服务研发框架,RPC 框架,服务注册中心,分布式定时任务,限流/熔断框架,动态配置推送,分布式链路追踪,Metrics 监控度量,分布式高可用消息队列,分布式事务框架,分布式数据库代理层等组件,也是在金融场景里锤炼出来的最佳实践。🦐 不办 Meetup,开挑战赛!SOFAStack PR Challenge | SOFAStack 8 周年。SOFAStack 社区开源 8 周年。

金融级分布式架构 64

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

SOFA Weekly|“佛系”开源人的打怪之路、社区本周贡献、本周推荐阅读

rchitecture Stack)是蚂蚁集团自主研发的金融级云原生架构,包含了构建金融级云原生架构所需的各个组件,包括微服务研发框架,RPC 框架,服务注册中心,分布式定时任务,限流/熔断框架,动态配置推送,分布式链路追踪,Metrics 监控度量,分布式高可用消息队列,分布式事务框架,分布式数据库代理层等组件,也是在金融场景里锤炼出来的最佳实践。基于 Koupleless 构建你的 AI 应用:三种高效研发范式。拥抱 AGI 时代的中间层⼒量:AI 中间件的机遇与挑战。筛选每周精华问答,同步开源进展。

金融级分布式架构 167

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

SOFA Weekly|SOFARPC 发布新版本、社区本周贡献

rchitecture Stack)是蚂蚁集团自主研发的金融级云原生架构,包含了构建金融级云原生架构所需的各个组件,包括微服务研发框架,RPC 框架,服务注册中心,分布式定时任务,限流/熔断框架,动态配置推送,分布式链路追踪,Metrics 监控度量,分布式高可用消息队列,分布式事务框架,分布式数据库代理层等组件,也是在金融场景里锤炼出来的最佳实践。修复 Triple 首次调用时,因链接线程和调用线程并发初始化链接导致的偶发地址不可用的问题。优化 Triple 协议在双向流业务异常时的处理逻辑。

金融级分布式架构 153

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

SOFA Weekly|SOFARPC 发布新版本、社区本周贡献、本周推荐阅读

rchitecture Stack)是蚂蚁集团自主研发的金融级云原生架构,包含了构建金融级云原生架构所需的各个组件,包括微服务研发框架,RPC 框架,服务注册中心,分布式定时任务,限流/熔断框架,动态配置推送,分布式链路追踪,Metrics 监控度量,分布式高可用消息队列,分布式事务框架,分布式数据库代理层等组件,也是在金融场景里锤炼出来的最佳实践。,解决了 Dubbo-python 和 Triple POJO 流式互通的数组越界问题。预防 Triple POJO 方法重载导致的调用问题,

金融级分布式架构 70

让 AI 边玩游戏边编写世界规则:从 XLand 到 ARC-AGI-3 的实验记录

做完这一轮,我会把三件事分开看。第一,程序变短是否能够保留预测能力。这方面有 XLand 和冻结 TWIN 模型的实测支持。第二,决策指引能否改善通关表现。FT09 有一组正面配对,SC25 也有一次问题驱动方案的完整通关。第三,探索设计能否减少总体成本。这仍然需要同时看动作、请求和时间。在最新的 SC25 样本里,代理确实少走了路,同时花了更多计算。这个差异也是我从早期比较规则代码长度,转向记录动作证据、关卡复盘和请求开销的原因。

2501_92638822的博客 282

从大模型到智能体:拆解通往 AGI 路线上的关键技术栈

戎易商智是一家以业务本体工程(Ontology)和数据治理及RAG 知识库能力为基础、以大模型本地化与AI Agent智能体开发 为支柱, 全栈式服务于AI 应用和部署的高新技术企业,为政府与大型企业构建可解释、可治理、可闭环执行的企业级AI决策工具。戎易拥有智能体服务底座平台,支持本体管理、智能体能力输出等,适配企业复杂业务场景,提供业务型Agent和通用型Agent两种模式,兼具深度定制专业能力与敏捷普及能力,为企业不同业务场景智能化转型提供AI Agent 高效服务。docs: 文档文本列表"""

EAlReport的博客 123

6 款电商 AI 图片生成软件实测|国内 + 跨境卖家工具清单

电商 AI 作图工具已经从 "能不能用" 进入了 "好不好用" 的阶段。对于绝大多数卖家而言,现在的 AI 工具已经可以覆盖 60%-80% 的基础商品图需求,显著降低拍摄和设计成本。选择工具的核心逻辑不是 "哪款最强",而是 "哪款最适配你的品类、平台规模和团队能力"。垂直电商工具胜在工作流效率,通用生图工具强在创意上限,模板类工具赢在上手速度。建议根据自身业务阶段,搭配 1-2 款主力工具 + 1 款辅助工具,形成适合自己的视觉生产流程。

Mardi_Ladin的博客 396

视频隐私脱敏工程化:CSRT/KCF追踪算法在本地推理中的实现与边界

在短视频内容合规审查中,动态遮挡(Dynamic Masking)是高频且高耗时的环节。传统手动关键帧打码不仅效率低下,且在目标快速移动或遮挡时极易出现遮罩漂移。本文从计算机视觉工程角度,解析基于CSRT与KCF算法的目标追踪方案在视频隐私处理中的技术路径、性能权衡及落地实践。

Mysssone的博客 223

我用 GPUWorks 在 M1 Pro 上搭了个发票识别原型

公司里经常要看电子发票。我想先做个小原型:把 PDF 发给一个自己部署的图文模型,让它提取发票类型、日期、交易双方和金额,再把结果交给同事核对。这个原型不用先接财务系统,先看看从部署到调用要走多少步,模型返回的内容能不能帮上忙。

鸽芷咕的博客 2万+

您您这可以把问小白的多个会话比如说。左侧的多个会话一次性导出吗?不是单条会话里面的多次会对话。AI导出鸭

第三层是格式编译层。这个决策背后的判断很清晰:一个批量导出工具的价值,不在于“试三次”,而在于你真正用它处理了几十份技术文档、访谈记录或课程讲义之后,它是否值得留在你的工作流里。问小白的会话列表通过分页接口加载,AI导出鸭 在页面运行时建立旁路监听,捕获每一次分页请求返回的完整对话清单,包括会话 ID、标题、时间戳和隐藏的元数据字段。让AI导出回归优雅——这句话说的是:导出不该是体力活,而应该是一次完整的、可预期的文件交付。注意:这里的“批量”指的是左侧列表里的多个独立会话,不是一条会话内的多轮对话。

laoyunsi的博客 246

AI Agent之核心框架

A: 显式 Thought 有三类价值:可解释性(便于人类审计)、可调试性(定位哪一步选错工具)、学习信号(可做监督微调或评估中间步骤质量)。ReAct 把推理与 可执行行动 绑定,每一步行动后都有 真实 Observation 反馈,从而用工具结果约束生成,降低闭卷幻觉。做完不等于结束——还要 评估做得好不好,把 教训 记下来,下次 带着教训重试,反思作为 记忆,影响后续尝试的策略。工作流程:Action → Evaluation → Reflection → Retry。A: 普通 CoT 只在。

剑雨巍巍的博客 199

河道漂浮物目标检测数据集

目标检测,yolo,河道漂浮物目标检测数据集

DL_data_set的博客 201

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 500

AI 应用开发工程师技术实践:大模型接入、通用组件封装与性能优化

本文提出AI应用从PoC到生产的核心挑战:模型调用的持续可用、可控与可优化。通过构建统一LLM网关实现多供应商路由与故障转移,封装对话、工具调用与RAG组件以解耦业务逻辑,结合前缀缓存、批处理与流式背压治理等性能优化手段,形成“接通→接稳→接快”的工程路径,最终以工程化能力决定AI应用的生产可用性。

2301_79189962的博客 558

大模型 Embedding 与向量相似度详解

Embedding 解决的问题:计算机不懂文字,但懂数字│▼文本 → 向量(1024维浮点数数组)│▼相似度解决的问题:怎么判断两个向量(文本)有多接近│▼余弦相似度:看向量方向的夹角,越接近0°越相似│▼最终效果:语义搜索——理解意思,而非字面匹配一句话总结:Embedding 把文字变成数字,余弦相似度比较数字的方向,两者结合实现了"理解语义"的搜索。

T3165919332的博客 90
上一篇: SOFA Weekly|SOFARPC 、SOFABoot 发布新版本,社区本周贡献
下一篇: 基于 Koupleless 构建你的 AI 应用:三种高效研发范式
SOFAStack
博客等级 码龄7年 747粉丝 389原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值