2025_NIPS_ContextAgent: Context-Aware Proactive LLM Agents with Open-World Sensory Perceptions

文章核心总结与创新点

主要内容

本文提出ContextAgent，全球首个融合开放式感官感知的上下文感知主动LLM智能体，通过可穿戴设备（如智能眼镜、耳机）采集多模态感官数据（视频、音频、手机通知）和用户画像信息，实现主动服务预测与工具调用。同时构建ContextAgentBench基准数据集（含1000个样本、9类日常场景、20种工具），用于评估该类智能体。实验表明，ContextAgent在主动预测准确率、工具调用准确率等指标上较基线模型分别提升最高8.5%和6.0%，且在小参数量模型上也能实现与大模型基线相当的性能。

创新点

1. 首次提出上下文感知主动LLM智能体框架，突破现有主动智能体局限于封闭环境（如桌面UI）的限制，利用可穿戴设备的开放式感官感知理解用户意图。
2. 设计面向主动服务的上下文提取方法，同时融合感官上下文与用户画像上下文，提升意图理解的全面性。
3. 开发具备“先思考后行动”能力的上下文感知推理器，通过蒸馏先进LLM的推理轨迹进行微调，实现精准的主动服务预测与工具链规划。
4. 构建首个针对上下文感知主动LLM智能体的基准数据集ContextAgentBench，填补该领域评估空白。

---

翻译部分（Markdown格式）