30、基于以人为本的强化学习的照明与百叶窗控制

基于以人为本的强化学习的照明与百叶窗控制

1. 基于满意度的视觉舒适模型的以人为本强化学习

在各种设备设置中选择能满足舒适规格的最优组合是一个复杂问题。以视觉舒适控制问题为例，百叶窗位置和灯光数量/强度有多种组合方式。利用人类用户执行任务知识的强化学习算法，可减少智能体探索时间并加速学习。

以人为本的强化学习（Human - centered RL）利用人类评价反馈来塑造智能体学习。其目标是促进智能体向人类观察者学习，同时加快学习过程。在这种学习模式中，智能体在某一状态下采取行动时，人类教师可提供评价反馈，告知所选行动的质量，智能体再用此反馈更新策略，从而通过与人类教师和环境交互在线学习执行任务，人类评价反馈决定智能体行为。

强化学习可由视觉舒适模型驱动，使模型具有适应性。该模型通过确定两个阈值 FL 和 FH 来定义舒适区，分别代表允许照明条件的下限（暗阈值）和上限（眩光阈值）。不过，当存在一群有不同偏好或环境条件变化时，按规定设置为常量的传统方法不再适用。因此，引入了一个舒适模型，它能根据用户反馈信号和环境数据对黑暗或眩光的合规样本进行分类。

该舒适模型利用帕累托优势关系来定义基于个性化投诉的室内照度控制。只有当居住者感觉不舒服时，才会通过人机界面（HMI）向系统投诉。帕累托改进能将一种情况 H 转变为 H′，使至少一个主体的福利在 H′中比在 H 中更大，且无人福利受损。通过聚合合规样本，可动态确定新的 FL 和 FH 阈值，满足用户群体需求并通过帕累托改进优化系统行为。

例如，若初始条件如表格 1 所示，收到低光投诉时，若照度低于之前保存的阈值，仅增加 CFL 计数器；否则，也更新 FL 值。对于一组四人，若至少一半居住者投诉且投诉