onebe的博客

以 OpenAI Cookbook 的《》示例为基础，探讨如何设计一个可测试、可优化的端到端 AI Agent 系统。整体流程分为三个阶段：(1) 端到端 Agent 构建（基线测试），(2) 拆分中间任务与评分系统（可解释性与对齐），(3) 构建收益/成本框架（系统优化）。

本文对比了OpenManus和Qwen-Agent两大LLM框架的核心模块差异。OpenManus采用面向对象设计，强调明确的规划-执行流程，适合结构化任务；Qwen-Agent则基于函数调用机制，支持动态工具注册和并行执行，灵活性更强。两者在LLM接口、工具系统、记忆管理等方面各有特色：OpenManus绑定OpenAI，Qwen-Agent兼容多模型；OpenManus工具管理手动，Qwen-Agent自动注册；OpenManus仅短期记忆，Qwen-Agent支持长期检索记忆。文末还提供了硅基流动平台

当一张图像（例如产品规格表、科研论文中的图表）包含多个信息区域时，先用 OCR 提取所有文字框并检测其坐标，再根据文字框的行列关系将图像划分为不同“语义区域”（Region）——例如图表标题、图例、轴标签、脚注等，使每个区域都能对应一个独立的文本分块。将同一断点 ID 下的各模态内容——例如文本分块（带时间戳或页码）、对应的图像剪辑（带坐标）、音频片段（带时段）、视频镜头段（带时段及关键帧）——统一合并为一个多模态 Chunk，并赋予独立的 Chunk ID。，更是实现跨模态“语义统一”的关键环节。

概览如下：多模态分块可以分为文本导向分块（对 ASR/文档文本进行常规分块）、图像区域分块（对大幅图像或图表进行区域化处理）、视频语义分块（基于场景或镜头检测进行切片）、音频时段分块（基于 ASR+VAD 分段或固定时间窗口）、以及混合模态分块（保证图像/文本/表格等信息在同一 Chunk 中）。安防监控整体事件检索：安全系统将监控原始视频送入 LLM，先抽取音轨转写与关键帧图像，配合图像目标检测，实现视频内容检索。播客/音频日志分析：内容运营团队将播客音频文件提供给 LLM，做自动要点生成与情感分析。

llama-factory小模型微调

通过Easy Dataset 构建问答语料数据集

如何构建MCP Server和Client