Agent 开发的真正痛点:不是调用模型,而是把 Agent 稳定跑进生产

Harness AI工程化:从实验到生产的AI Agent稳定部署指南 AI工程化是解决大模型从实验环境到生产部署的关键方法论,其核心原理在于通过标准化接口、任务调度和状态管理来确保AI系统的确定性执行。在技术价值层面,AI工程化能够显著提升Agent的稳定性、可监控性和可维护性,特别适用于需要批量处理、有状态保持和外部工具集成的应用场景。以Hermes Agent为例,这套工程化实践涵盖了从环境配置、单任务测试到批量任务管理的完整链路,其中记忆管理和工具调用是确保系统可靠性的重要环节。通过合理的模型配置、状态持久化和监控告警机制,开发者可以将AI Agent真正落地到生产环境 阅读详情

在这里插入图片描述

过去很多团队做 AI Agent,关注点还停留在“怎么调用大模型”“怎么接 LangChain”“怎么让 Agent 调工具”。但当 Agent 应用真正进入生产环境后,问题会迅速变得不一样。

能跑通 Demo,不代表能稳定服务真实用户。

一次 Agent 任务背后,可能包含多轮模型调用、RAG 检索、工具调用、上下文拼接、Prompt 决策、外部 API 请求和结果校验。最终用户看到的只是一个回答,但开发团队真正需要面对的是:这条链路里每一步到底发生了什么?

痛点一:Agent 失败经常不是代码错误

传统软件出问题,通常可以从异常栈、接口日志、数据库日志里定位。

但 Agent 应用的失败经常更“软”:

  • 模型选错了工具
  • 工具参数是幻觉生成的
  • RAG 检索到了不相关内容
  • Prompt 没有约束住输出格式
  • 多轮对话后上下文漂移
  • 模型回答看似合理,但事实错误

这些问题不一定会抛异常,却会直接影响用户体验。

所以 Agent 调试不能只靠日志。你需要看到完整 Trace:每一步输入、输出、耗时、模型、工具、Token、错误和上下文。

痛点二:只看最终回答,无法判断问题出在哪一层

用户反馈“AI 回答不对”时,问题可能来自很多地方:

  • 检索层没召回正确文档
  • Prompt 设计有歧义
  • 模型能力不够
  • 工具返回数据异常
  • Agent 决策路径错误
  • 上下文过长导致关键信息丢失

如果没有链路级观测,团队只能猜。

这也是为什么 LangSmith、Langfuse 这类工具会越来越重要。LangChain 官方文档也强调,生产环境中的 tracing 可以帮助开发者调试问题、评估不同输入下的表现,并监控使用模式。

痛点三:Token 成本从一开始就不可控

Agent 应用的成本不只是“一次调用多少钱”。

一个复杂 Agent 任务可能会触发:

  • 多次规划
  • 多次工具调用
  • 多次检索
  • 多轮模型确认
  • 失败后的重试
  • 长上下文传递

最终成本往往不是线性增长,而是随着链路复杂度放大。

如果没有按项目、会话、模型、Trace、工具调用去拆分成本,团队只能看到一张总账单,却不知道钱花在哪里。

痛点四:评估很难持续化

Agent 的效果不是一次测试就能确定的。

它会随着这些因素变化:

  • 用户输入变复杂
  • 知识库内容更新
  • Prompt 版本变化
  • 模型版本变化
  • 工具接口变化
  • 业务规则变化

因此 Agent 评估不能只做上线前测试,更应该基于生产 Trace 持续评估。

比如:

  • 哪类问题回答质量下降?
  • 哪些工具调用失败率升高?
  • 哪些 Prompt 版本效果更好?
  • 哪些用户会话需要人工介入?
  • 哪些 Trace 成本高但价值低?

没有持续观测,就没有持续优化。

痛点五:传统 APM 看不懂 Agent

传统 APM 能告诉你接口耗时、错误率、CPU、内存、数据库慢查询。

但 Agent 的核心问题往往不是这些。

Agent 的问题更像是:

  • 为什么它选择了这个工具?
  • 为什么它跳过了某个步骤?
  • 为什么它重复调用模型?
  • 为什么它在第四轮对话后开始跑偏?
  • 为什么同样的问题今天回答变差了?

这类问题需要面向 LLM / Agent 的语义化观测。

OpenTelemetry 也已经在推进 GenAI Semantic Conventions,用标准化字段描述 LLM 调用、工具调用、输入输出、模型信息和生成式 AI 相关遥测数据。这说明 Agent 可观测正在从“自定义日志”走向“标准化基础设施”。

AgentInsight 想解决什么

AgentInsight 是一个面向企业级 LLM/Agent 应用的智能可观测平台。我们开源了 Python / TypeScript SDK,希望让开发者可以用更轻量的方式接入 Agent 可观测能力。

AgentInsight SDK 可以帮助采集:

  • Trace 链路
  • 模型调用
  • Token 消耗
  • 响应耗时
  • 异常错误
  • 工具调用
  • 会话评分
  • Prompt 与上下文信息

在平台侧,AgentInsight 提供研发仪表盘、成本分析、模型使用分析、错误诊断、会话分析、智能预警和 AI 分析助手,帮助团队从“能跑”走向“可观测、可评估、可治理”。

一个简单接入例子

Python 应用里,可以通过 @observe 记录 Agent 执行链路:

from agentinsight import observe

@observe(as_type="agent")
def run_agent(query: str):
    docs = retrieve_docs(query)
    answer = call_model(query, docs)
    return answer

@observe(as_type="retriever")
def retrieve_docs(query: str):
    return ["doc1", "doc2"]

@observe(as_type="generation")
def call_model(query: str, docs: list[str]):
    return "final answer"

对于 LangChain / OpenAI 应用,也可以通过 AgentInsight SDK 记录模型调用、Token、耗时、错误和链路关系。

给 Agent 团队的建议

如果你正在开发 Agent 应用,建议尽早问自己 6 个问题:

  1. 每一次用户请求能否看到完整 Trace?
  2. 每一次模型调用能否看到 Token 和耗时?
  3. 每一次工具调用失败能否定位原因?
  4. 每个项目或团队的 AI 成本能否拆分?
  5. 每次回答质量能否被评分和复盘?
  6. 业务方能否看到 AI 应用是否真的产生价值?

如果这些问题现在答不上来,说明你的 Agent 还没有真正具备生产级工程能力。

最后

Agent 开发的门槛正在降低,但 Agent 生产化的门槛正在升高。

未来真正重要的不是“谁能最快做出一个 Demo”,而是谁能把 Agent 稳定、可控、低成本地运行在真实业务里。

这需要的不只是框架,而是一整套可观测、评估和治理能力。

欢迎试用 AgentInsight:

延伸阅读

2026 Agent 开发者调研报告:从 Demo 到生产的五大痛点与工程化实践 AI Agent 正从技术概念走向生产落地,但高并发场景下的响应延迟、上下文记忆管理、工具调用准确性、安全边界控制以及部署成本失控,成为开发者必须跨越的工程化门槛。其核心原理在于 Agent 请求链路涉及多次 LLM 调用、工具编排与记忆读写,传统 Web 服务的稳定性策略难以直接复用。通过异步化执行、分层记忆架构、工具权限校验与大小模型搭配等模式,可显著提升系统稳定性并控制成本。这些方法在智能客服、多步推理助手、企业级自动化流程等场景中已有实践验证。Alibaba Cloud 联合开发者社区的调研报告与 阅读详情

相关推荐

Agent-Reach:简化大模型API调用,构建稳定自动化流程

在人工智能和机器学习领域,API调用是连接模型能力与实际应用的基础环节。其核心原理在于通过标准化的接口协议,实现远程服务的请求与响应。统一API接口的技术价值在于显著降低开发复杂度,提升代码的可维护性和可复用性。在工程实践中,这广泛应用于自动化脚本、批量数据处理以及构建AI辅助工作流等场景。针对大模型调用中常见的配置繁琐、错误处理复杂等痛点,工具化的解决方案应运而生。例如,通过封装不同厂商的API细节,提供统一的配置层和命令行接口,开发者可以快速搭建可靠的模型调用管道,并进一步将其集成到自动化脚本中,实现任

weixin_26824299的博客 353

LangChain从demo到生产的完整落地指南,解决RAG、Agent与模型切换痛点!

LangChain框架解决了大模型应用从demo到生产落地的三大核心问题:RAG链路模块化可控、Agent工具调用可约束、跨模型兼容标准化。通过拆分RAG各模块支持定制,用StructuredTool规范工具调用,BaseChatModel实现模型无缝切换,LangSmith提供全链路可观测性。文章详细介绍了优化RAG检索精准度、管控Agent工具滥用、实现跨模型兼容以及生产排错的实操方案,帮助开发者从简单场景起步,逐步掌握LangChain核心能力,实现大模型应用真正落地生产。

WANGJUNAIJIAO的博客 872

从AI Agent开发困境到Harness基础设施:构建稳定可靠的生产级智能体

在人工智能技术快速发展的今天,大语言模型和AI Agent已成为构建智能应用的核心组件。然而,从技术原理到工程落地,开发者面临着工具碎片化、系统稳定性差和团队协作困难等多重挑战。这些挑战的本质在于缺乏标准化的工程实践和基础设施支持,导致开发效率低下且系统可靠性难以保障。为了解决这些问题,业界开始关注AI Agent的基础设施层,通过工作流编排、工具网关、记忆管理和评估监控等标准化模块,将业务逻辑与工程实现分离。这种关注点分离的设计理念,使得开发者能够更专注于智能体的核心推理能力,而将稳定性、安全性和可观测性

weixin_34185512的博客 414

告别Agent开发痛点!用MCP协议让工具调用标准化,5分钟上手,生产环境避坑指南|TaoToken实战

用MCP协议标准化Agent工具调用,5分钟跑通首个MCP Server。本文提供可复制的MCP Server配置、Function Calling对接示例与Claude Code settings配置,并借助TaoToken统一API通道完成调用链验证,附生产环境401、超时、不调用工具等报错排查清单。详见 https://taotoken.net/?utm_source=taotoken_aicg_blog_end

weixin_30951515的博客 218

基于Hermes Agent的生产级AI Agent开发:从工程化到自进化实战

AI Agent作为具备感知-决策-执行循环的自治系统,其核心原理在于通过环境反馈自主调整行为策略。在AI工程化领域,Prompt Engineering解决了基础指令设计问题,而更关键的Context Engineering和Harness Engineering则构建了完整的控制系统。这些技术的工程价值在于将AI应用开发从依赖人工试错的"玄学"转变为可重复、可测试的软件工程流程。特别是在生产环境中,AI Agent需要解决环境配置复杂性、技能调用稳定性等工程化难题。通过结合自进化机制,智能体能够从错误中

weixin_30394669的博客 289

AI Agent开发实战:从核心架构到生产部署的完整指南

大模型(LLM)作为强大的推理引擎,通过引入规划、记忆和工具调用等模块,实现了从被动问答到主动执行的智能跃迁,形成了AI Agent的核心架构。这一技术架构的价值在于将大模型的认知能力转化为可执行的动作,解决了复杂任务自动化中的规划与决策难题。在应用场景上,AI Agent广泛适用于智能客服、自动化工作流、数据分析助手和个性化推荐系统等领域。本文以旅行规划Agent为例,详细拆解了基于LangChain等主流框架的构建过程,并深入探讨了多智能体协作与生产环境部署中的稳定性、成本控制等工程实践挑战,为开发者提

weixin_30660027的博客 435

Agent调试的痛点

Agent 调试的痛点:核心矛盾在于Agent的智能本质是非确定性的,开发者需在“智能”与可控性间权衡——优先确保可追溯、可中断的工程底线,而非追求全自动。短期内,调试仍是开发者最大挑战。

不负热爱 1036

企业级AI Agent生产实践:从演示到稳定部署的工程化路径

最近和几个做企业级应用的朋友聊天,发现一个挺有意思的现象:大家聊起AI Agent时,兴奋点都集中在“智能体如何自主完成任务”、“如何理解复杂指令”这些炫酷的能力上。但一旦话题转向“怎么把这个Agent放进我们现有的生产系统里,让它稳定地跑起来”,会议室里的气氛就会瞬间冷却下来。 这让我想起一个经典的工程悖论:一个工具在Demo里跑得越顺畅,把它放进真实生产环境时,可能遇到的“惊喜”就越多。对于AI Agent来说,这个悖论尤其明显。它不像一个简单的API调用,更像是一个需要持续管理、监控和调优的“数字员工

weixin_30326515的博客 412

Agent工具项目接入实战:技能注册、模型调用与生产落地

AI Agent正成为下一代自动化系统的核心形态,但真正的价值不在对话,而在稳定调用外部工具。大模型通过 Function Calling 或 MCP 协议将用户意图转化为可执行动作,再由技能层完成查询、文件操作、接口调用等具体任务。要打通这条链路,需要标准化桥接层负责技能注册、参数解析、结果回传与异常兜底,这正是 agent-reach 这类项目要解决的核心问题。理解模型与工具的分工、掌握最小技能示例的注册与验证方法,就能把 Agent 能力真正接入数据库查询、配置读取、业务接口调用等真实场景,从“跑通

weixin_32501329的博客 197

从手写Agent循环到一行代码:生产级Agent运行时管理实践

在大模型应用开发中,Agent循环是决定系统稳定性的核心环节。手写while True调度逻辑虽然看似简单,却常因上下文窗口溢出、工具调用超时、并发隔离不足等问题难以走向生产。Strands Agents Harness SDK通过标准化运行时容器,将模型推理、工具执行、会话管理三层循环统一封装,让开发者以一行代码启动具备上下文可控、记忆分层、并发安全与可观测性的生产级Agent。这种模式尤其适合需要多轮工具调度、面对多用户并发、维护长会话状态的业务场景。理解Harness的约束设计,有助于将精力从循环细节

weixin_29034963的博客 222

OpenAI原生API构建AI Agent实战:从工具调用到生产落地

AI Agent并非简单封装大模型API,而是具备目标拆解、工具调度、状态记忆与失败重试能力的自主智能体。其核心原理在于通过结构化function calling机制,让大模型理解并调用外部工具(如天气查询、邮件发送),再基于工具返回结果生成自然语言响应。这种范式突破了传统Prompt工程局限,显著提升任务完成率与业务适配性。技术价值体现在轻量可控、调试透明、版本稳定与资源高效,特别适合客服助手、内部知识代理等高确定性场景。本文聚焦OpenAI原生tools参数与tool_calls消息流,详解如何绕过La

weixin_30947043的博客 400

从调研报告到生产落地:Agent开发架构、LangGraph与并发稳定性指南

AI Agent开发正从实验走向生产,但真正能稳定扛住业务流量的Agent项目依然少见。无论是LangChain还是自研编排,其核心都在于用工程化的方式管理模型调用的不确定性与上下文膨胀。作为关键技术栈,LangGraph通过图状态机将复杂的Agent流程可视化,让多节点分支逻辑变得可控。同时,生产环境中的并发瓶颈、上游API限流、上下文管理以及可观测性建设,是决定Agent能否从Demo走向线上系统的关键。本文结合开发者调研数据与阿里云Agent手册,从架构选型、FastAPI异步服务、异步任务队列到避坑

weixin_29038303的博客 229

基于Vector 的AUTOSAR NvM 模块使用

本文主要讲述Vector的两款工具configurator和Developer关于NvM的配置流程,包括如何新建NvM SWC以及添加和修改NvM block,Developer主要涉及NvM SWC的新建、添加新NvM Block以及修改原有的NvM Block;Configurator主要涉及三个模块NvM、Fee以及Fls,以下将分为两个模块对该部分进行介绍。 一、Developer 使用 1.1 新建NvM SWC并实例化 如下图,为Developer左列列表 图 1.1...

Fly_To_Skyhehe的博客 4969

Agent-Reach:为大模型工具调用打造稳定可控的中间层架构

大模型驱动的智能体在接入外部系统时,常面临函数调用格式不稳定、接口鉴权复杂、下游故障传导等工程难题。工具调用作为连接模型与业务系统的关键环节,其本质是意图解析、参数校验、路由转发与结果封装的标准化过程。通过将工具描述与执行逻辑分离,构建独立的Agent工具调用中间层,能够显著降低模型输出波动带来的影响,实现权限收敛、超时隔离和审计追溯。这一架构思路可广泛应用在客服订单处理、内部系统自动化、多模型协同等场景。本文从实战角度出发,分享Agent-Reach中间层的设计原理、YAML工具配置方式及部署中的核心坑点

weixin_29038303的博客 297

扫码器USB键盘报告描述符数据格式解析

Byte0用于判断Shift是否按下,当按下时Byte0的Bit1会置1,即0x02,若未按下,Bit为0,即0x00。0x00 0x00 0x00 0x00 0x00 0x00 0x00--->>未按下Shift。0x00 0x00 0x00 0x00 0x00 0x00 0x00--->>按下Shift。0x00 0x04 0x00 0x00 0x00 0x00 0x00--->>输出A。0x00 0x04 0x00 0x00 0x00 0x00 0x00--->>输出a。

m0_65548585的博客 1142

io_uring vs epoll ,谁在网络编程领域更胜一筹?

简介:从定量分析的角度,通过量化 io_uring 和 epoll 两种编程框架下的相关操作的耗时,来分析二者的性能差异。 本文作者:王小光,「高性能存储技术SIG」核心成员。 背景 io_uring 在传统存储 io 场景已经证明其价值,但 io_uring 不仅支持传统存储 io,也支持网络 io。io_uring 社区有众多的开发者尝试将 io_uring 用于网络应用。我们之前也在《你认为 io_uring 只适用于存储 IO?大错特错!》中也探索过 io_uring 在网络场景的应用及其

阿里云云栖号 3037

Agent开发实战:用agent-skills构建稳定可靠的生产级技能体系

在AI应用落地过程中,Agent开发正从简单的模型调用演变为复杂的技能工程。理解工具、技能与插件的关系,是构建生产级应用的基础。通过结构化技能定义、注册中心与调度器设计,能有效解决模型幻觉调用、参数错配与异常恢复等核心问题。这种工程化思路不仅提升了工具调用的准确率,也为多技能协同提供了可控的编排机制,适用于企业微信机器人、自动化运维、智能客服等真实业务场景。当技能库扩展到数十个时,结合动态加载、沙箱隔离与多模型路由,可兼顾稳定性、安全性与成本效率。文章围绕agent-skills框架,深入拆解如何将Agen

weixin_32597009的博客 280

C语言版数字锁相放大器实现指南:从复数运算到嵌入式MCU移植的坑我都帮你踩了

本文详细介绍了C语言实现数字锁相放大器的关键技术,包括复数运算优化、嵌入式MCU移植的实战经验及内存管理策略。针对STM32等资源受限平台,提供了从浮点到定点数转换的优化方案,帮助工程师高效处理微弱信号提取问题。

weixin_30721077的博客 433

ECC:把AI Agent从Demo推向生产稳定的工程操作层解析

大模型应用落地过程中,AI Agent 的稳定性与可维护性始终是工程团队的核心痛点。从 LangChain、AutoGen 等框架搭建原型到真正部署上线,开发者往往面临上下文管理、工具调用、成本控制与故障恢复等系列挑战。ECC 作为一类面向生产环境的工程操作层,将 Agent 运行生命周期纳入统一管理,通过沙箱隔离、技能编排、可观测性与灰度发布等机制,把 Agent 从“能跑”提升为“可控”。这类基础设施的出现,使得团队能够以标准后端服务的方式来运营 Agent,显著降低交付风险。在涉及复杂任务编排、多智能

weixin_29044157的博客 240

双目摄像头全景解析:从几何光学到深度智能

双目视觉系统基于仿生学原理,通过水平排列的双摄像头模拟人眼视差机制实现三维感知。其核心是通过标定、校正、匹配等算法流程,将视差转换为深度信息,最终生成三维点云。该系统在自动驾驶、机器人导航、工业检测等领域有广泛应用,但面临弱纹理、重复图案等挑战。未来发展趋势包括与事件相机、深度学习等技术的融合,进一步提升精度和动态性能。

reset2021的博客 120

Agent技能封装实战:从Function Calling到稳定工具调用的设计指南

在大模型应用开发中,Agent的稳定性往往不取决于模型本身,而取决于外围技能的定义与封装质量。技能封装本质上是将原子能力转化为模型可读、可调、可校验的结构化说明书,涉及技能描述、参数约束、路由策略与错误回退等关键设计。通过合理的技能拆解与描述写作,同一模型的工具调用成功率可大幅提升。本文从函数调用与工具协议的原理出发,结合个人知识库问答、订单处理等典型场景,给出了一套可落地的技能注册表与调度链路实现方案,并总结了参数幻觉、多技能串行状态丢失等高频坑位的排查思路,帮助开发者将Agent从玩具Demo推向可上生

weixin_29038537的博客 162

米哈游运维面试题及参考答案

Linux 系统运行级别是用于定义系统启动时所需要达到的功能状态。运行级别 0:表示系统停机状态,用于关闭系统,是系统的关机级别。当系统切换到这个级别时,会停止所有的服务和进程,然后关闭系统。运行级别 1:也称为单用户模式。在这个级别下,系统只启动基本的系统服务和必要的进程,仅允许 root 用户登录系统进行维护操作,常用于系统出现故障需要紧急修复的情况,比如修复文件系统错误、重置 root 密码等。运行级别 2:多用户模式,但不支持网络文件系统(NFS)。

大模型大数据攻城狮的专栏 747

Agent-Reach:打造AI Agent稳定工具调用的中间层实战指南

在AI Agent的实际落地中,模型能力并非瓶颈,真正的挑战在于工具调用的稳定性与数据可达性。原生Function Calling虽然能生成结构化调用请求,却普遍存在工具与模型强耦合、执行结果不标准、网络超时与鉴权失效等“最后一公里”问题。本文引入Agent-Reach设计理念,将工具注册、意图路由、稳定执行与结果适配封装为独立的触达层,通过Schema裁剪、超时重试、幂等键、模糊匹配等手段,让Agent在面对异构接口时依然能获得规范、干净的工具返回结果。无论是解决接口偶发超时、字段变更还是上下文撑爆,这套

weixin_34254848的博客 292

【LLC快速上手系列】如何在LLC谐振里优雅地调死区时间?

用示波器死盯Vds波形,找到ZVS临界点;别听“经验值”,亲自调才准;死区时间并非越短越好,也不是越长越稳,而是要“刚刚好”;用热成像看MOSFET温升变化,ZVS调好了,温度马上掉2~5℃;轻载难ZVS?适当提升频率 or 降低Lr可破!

weixin_43199439的博客 498

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Hermes Agent Harness实战:模型接入、技能开发与定时任务通知

AI Agent 的工程化落地,核心不在模型参数量,而在于如何把模型能力组织成稳定可靠的执行系统。Harness 作为一种将模型约束在固定流程中的工程框架,解决了多步骤任务中的上下文丢失、工具调用失控和模型升级重构等常见问题。通过安装部署、OpenAI 兼容 API 与本地模型接入、技能开发及定时任务配置,开发者可以快速构建具备自我进化能力的生产级 Agent。本文以 Hermes Agent 为例,讲解了从任务规划、上下文管理到错误恢复的完整链路,并结合钉钉机器人通知等真实场景,提供了可复用的工程实践和排

chuange6363的博客 420

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: 从 Demo 到生产:AI Agent 可观测到底要看什么?
下一篇: 从可观测到可优化:用 AgentInsight SDK 打造 AI Agent 全链路监控与持续调优体系
AgentInsight
博客等级 码龄164天 0粉丝 18原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值