13、深度Q网络：DQN与Rainbow DQN的比较和应用

深度Q网络：DQN与Rainbow DQN的比较和应用

1. DQN与Q - learning的比较

在强化学习领域，DQN（深度Q网络）和Q - learning是两种常用的方法，它们各有优劣。

1.1 Q - learning的特点

要使Q - learning有效工作，需要大幅减少信息的数量。具体操作步骤如下：
1. 移除一半的特征。
2. 对剩余的特征进行量化，使其大约剩下150个离散值。
3. 为了找到这些设置，需要进行特征工程，尝试许多其他特征和量化级别的组合。

这种方法的优点在于，如果要在生产环境中运行类似的模型，其简单性会使决策更易于解释，模型也会更健壮、高效和稳定。

1.2 DQN的特点

使用DQN时，无需对原始信息进行处理。神经网络能够直接处理原始信息，找出重要的特征，并告知最优的行动。该模型可以处理连续值，与表格方法相比，结果更加精细。然而，DQN也存在一些缺点，例如需要大量的数据，容易过拟合，对初始条件和超参数敏感，不够健壮，并且容易受到对抗攻击。

2. 建筑节能案例研究

2.1 背景

在欧盟，约40%的能源用于建筑物的供电和供暖，这约占温室气体排放的25%。虽然有多种技术可以帮助降低建筑物的能源需求，但许多技术具有侵入性且成本高昂。而微调建筑物的供暖、通风和空调（HVAC）控制适用于任何年代的建筑物。

2.2 具体实现

Marantos等人提出在智能恒温器中使用强化学习来提高建筑物供暖系统的舒适度和效率。具体步骤如下：
1.