AgentSense: Virtual Sensor Data Generation Using LLM Agents in Simulated Home Environments

《AgentSense：在模拟家庭环境中使用LLM代理生成虚拟传感器数据》

一、主要内容总结

研究背景与问题

智能家庭环境下的人类活动识别（HAR）系统发展面临的主要障碍是缺乏大规模、多样化的标注数据集。家庭布局、传感器配置和用户行为的可变性增加了数据收集的复杂性，而传统数据收集方法成本高、耗时长，且标注需要专业知识，限制了HAR模型的泛化能力。

解决方案：AgentSense框架

• LLM驱动的人物角色生成：通过多阶段提示LLM生成多样化的人物角色，包含年龄、职业、健康状况和生活习惯等属性，确保生成的日常活动具有现实多样性。
• 活动分解与模拟执行：将人物角色的日常活动分解为细粒度的动作序列，并在扩展的VirtualHome模拟器（X-VirtualHome）中执行，该模拟器集成了虚拟运动、设备门和物体传感器，可记录活动过程中的传感器数据。
• 虚拟数据生成与应用：生成的虚拟传感器数据可用于预训练HAR模型，结合少量真实数据微调后，能显著提升模型在真实场景中的性能。

实验与结果

在5个基准HAR数据集（包括CASAS和Orange4Home）上的实验表明：

• 预训练于虚拟数据的模型在真实数据有限时表现更优，使用少量真实数据（如5%-10%）结合虚拟数据即可达