论文阅读笔记——ComfyMind: Toward General-Purpose Generation via Tree-Based Planning and Reactive Feedback

ComfyMind 论文

传统方法（如 ComfyAgent）将工作流构建视为 扁平化的 token 解码任务，导致生成的节点图容易出现 结构错误（如节点遗漏、连接错误），且难以适应不同任务的需求。

ComfyMind 引入 语义工作流接口（SWI），将底层节点图抽象为 模块化的功能单元，并用自然语言描述其输入、输出和功能，使 LLM 能在 语义层面组合工作流，减少低级语法错误。

现有系统（如 ComfyAgent）生成工作流后直接执行，无法在运行时检测错误或调整流程，导致失败后必须完全重新生成，效率低下。

ComfyMind 采用 搜索树规划 + 局部反馈执行，将任务分解为子任务（树状结构），并在执行时 动态监测各模块的输出。如果某一步失败，系统仅 调整当前子任务的模块，而非重做整个流程，显著提升鲁棒性。

传统工作流系统依赖手动编码节点图，新增模型或任务时需重新设计整个流程，扩展性差。

ComfyMind 的 SWI 模块化设计 允许用户通过自然语言描述新增功能，系统能自动整合新模块到现有工作流中，使社区贡献的模型（如新的 ControlNet、LoRA 等）能快速适配。