鱼塘

本书旨在缩小动态机制设计理论与无线和物联网系统之间的差距。它还为物联网网络决策综合科学的发展铺平了道路。

本部分将简单游戏扩展到具有多个状态的连续上下文。马尔可夫博弈可以看作是多个具有自己奖励函数的智能体的马尔可夫决策过程。

本部分将简单游戏扩展到具有多个状态的连续上下文。马尔可夫博弈可以看作是多个具有自己奖励函数的智能体的马尔可夫决策过程。

现将单智能体的核心概念扩展到多智能体系统的问题。在该系统中，可将其他智能体建模为潜在的盟友或对手，并随着时间的推移进行相应的调整。

在有限维场景中，POMDP问题的精确解也经常很难计算。因而，考虑求得近似解的方法是合理的。本部分从离线近似解讨论到在线近似解，是近似方法的常规逻辑思路。

前面已经讨论了两个不确定性，即结果状态和模型的不确定性。在这一部分将不确定性扩展到状态。具体讲，接收到的观测值与状态只有概率关系，而不是精确地观察状态。此类问题可以建模为部分可观察的马尔可夫决策过程（POMDP），但POMDP很难以最佳方式解决所有问题，因而需要引入更多的近似策略。

与基于模型的方法相比，无模型方法不需要构建转移函数和奖励函数的显性表示，而是直接作用于值函数建模。进一步地，考虑模拟学习来重建奖励函数。

解决存在模型不确定性的此类问题是强化学习领域的主题，这是这部分的重点。解决模型不确定性的几个挑战：首先，智能体必须仔细平衡环境探索和利用通过经验获得的知识。第二，在做出重要决策后很长时间内，可能会收到奖励，因此必须将以后奖励的学分分配给以前的决策。第三，智能体必须从有限的经验中进行概括。

策略搜索即搜索策略空间，而无需直接计算值函数。策略空间的维数通常低于状态空间，并且通常可以更有效地搜索。本部分首先讨论在初始状态分布下估计策略价值的方法。然后讨论不使用策略梯度估计的搜索方法和策略梯度方法。接着介绍Actor-Critic方法用值函数的估计来指导优化。

上文中提及的精确解方法适用于小型离散问题，对于较大状态空间的问题，计算精确解需要极大的内存量，因而考虑近似解的方法。常使用approximate dynamic programming的方法去寻求近似解，进而使用在线方法实现实时计算。

此前讲述了在某个时间点做一个单一的决定的问题，但许多重要的问题需要做出一系列的决定。序列环境中的最佳决策需要对未来行动和观察序列进行推理。

到目前为止，均假设概率模型的参数和结构是已知的。本部分讨论从数据学习或拟合模型参数的问题，进一步讨论了从数据中学习模型结构的方法，最后对决策理论进行了简单的概述。

本部分将展示如何使用概率表示进行推理，即确定一组给定观察变量相关值的一个或多个未观察变量的分布。在该部分中首先介绍直接推断的办法，然后给出几种有效的近似方法。

理性决策需要对不确定性和目标进行推理。不确定性源于预测未来事件能力的实际及理论限制。为了实现其目标，一个强有力的决策系统必须考虑到当前世界状况和未来事件中的各种不确定性来源。首先，讨论了如何将不确定性表示为概率分布，即如何将现实问题构建为概率模型，如何使用模型进行推理，以及如何从数据中学习模型的参数和结构。然后，介绍了效用原理 （utility theory ）的基础，并通过最大期望效用原理说明如何形成不确定性下理性决策的基础。最后，讨论了如何将效用理论的概念纳入上述概率图形模型中，以形成决策网络。

机器学习决策算法新书的读书笔记

关于自动控制原理的笔记

文章目录双人矩阵博弈学习Nash均衡求解Nash均衡线性规划梯度上升算法 Gradient Ascent AlgorithmWoLF-IGA (win or learn fast-policy) 算法the policy hill climbing (PHC) algorithmWoLF-PHC算法多人随机博弈极大极小Q学习算法 Minimax-Q AlgorithmNash Q学习算法Friend-or-Foe Q-Learning双人矩阵博弈学习Nash均衡猜硬币囚徒困境剪刀-石头

目录微分博弈模糊系统 --- 模糊推理系统（FIS）模糊集模糊规则模糊推理机直积推理机（product inference engine）模糊与去模糊模糊学习群体智能（未来趋势？）环境表征性格特征微分博弈One playerMany playersStaticMathematical programming(Static) game theoryDynamicOptimal control theoryDynamic/differential game theory

目录监督学习最小二乘（LS）估计递归最小二乘（Recursive LS）最小均方（LMS）随机逼近法单智能体强化学习值函数（the value function）马尔可夫决策过程（Markov Decision Processes，MDP）传统的自适应控制着重于介绍模型参考自适应控制的传统方法和使用 Lyapunov 技术的非线性自适应控制。当前适应性和学习系统的内容中更强调强化学习的思想。其中的重点是使用递归最小二乘（recursive least squares）方法进行系统辨识，一些模型参考自适应控

目录基于预测控制的多架小型直升机编队飞行控制编队控制Leader–Follower 系统基于模型预测控制的控制器设计速度控制模型平动模型模型预测控制器设计模型预测控制控制器设计基于预测控制的多架小型直升机编队飞行控制本部分将介绍多架小型无人直升机编队飞行控制，作为 UAV 高级控制的一个示例。自主编队飞行控制系统设计为“领导者–跟随”模型。为了在系统约束下获得良好的控制性能，将“模型预测控制”应用于随动直升机的平动位置控制。在实时最优控制计算中，考虑了运动范围和避碰等位置约束。为了实现对干扰的鲁棒性，使

目录垂直起降飞行器的数学建模与非线性控制RUAV动力学模型刚体动力学 (Rigid Body Dynamics)空气动力学力与力矩 (Aerodynamics Forces and Torques)非线性分层飞行控制器的设计与稳定性飞行控制器设计稳定性证明垂直起降飞行器的数学建模与非线性控制该部分介绍为 UAV 设计非线性飞行控制器的主要步骤。该控制系统基于旋翼 UVA 的非线性模型，采用内外环控制方案，考虑了系统的非线性和耦合性，设计了一种易于实现和调试的实用控制器。利用级联系统理论证明了完全闭环系统

目录自主四倾翼 (Quad-Tilt-Wing) UAV：设计、建模和控制QTW-UAV建模偏航 (Yaw Model)横滚和俯仰姿态模型 (Roll and Pitch Attitude Model)姿态控制系统设计偏航动力学控制系统设计横摇和俯仰动力学控制系统设计自主四倾翼 (Quad-Tilt-Wing) UAV：设计、建模和控制QTW-UAV可实现垂直起降；此外，直升机特有的悬停飞行和固定翼飞机特有的高速巡航可以通过倾斜机构改变旋翼和机翼的角度来实现。首先，利用辨识方法建立了 QTW-UAV

目录基于 LQI 控制器的小型四旋翼飞行器的自主控制自主控制建模控制方法基于 LQI 控制器的小型四旋翼飞行器的自主控制本部分关于四旋翼微型飞行器姿态建模和控制器设计技术。与单旋翼或对旋螺旋桨小型直升机相比，四旋翼微型飞行器的优势在于：它们具有更大的有效载荷，它们更强大，更容易处理风等湍流，并且更容易使用紧凑的机身进行设计。四旋翼微型飞行器的一个关键特征是，机身的所有自由度都是通过调节四个电机的转速来控制的。此外，由于其内部控制器通过使用陀螺传感器计算角速度反馈，机身的非线性变弱，线性模型更合适。自

目录无人直升机的建模与控制无人直升机的分类单旋翼直升机的建模伺服电机动力学 (Dynamics of Servomotors)俯仰与滚动 (Pitching and Rolling Motions)偏航运动 (Dynamics of Yawing Motion)垂荡方向 (Dynamics of Heave Direction)水平速度与位置 (Horizontal Velocity and Position)同轴旋翼直升机的建模伺服电机的动力学滚动和俯仰运动的动力学水平运动的动力学小型无人直升机控制系统设

该系列笔记基于 Kenzo NONAMI, Wei WANG, et al. Autonomous Flying Robots: Unmanned Aerial Vehicles and Micro Aerial Vehicles[M]. Tokyo: Springer, 2010.无人机的意义在复杂和危险环境中，无人机在空中监视、侦察和检查时具有重大优势。low downside risk 和 higher confidence in mission success 是扩展无人机使用场景的两个强大动力

数学控制相关书目参考自杨晓松老师的数学控制理论基础.有限维及无限维动态系统的可控性和反馈镇定，需要较强的数学背景[1];确定性数学控制理论(有限维动态系统)全面介绍[2];理论性较强的 SISO 线性控制系统[3];非线性系统控制的几何理论[4], [5], [6];从控制角度阐述非线性系统[7], [8];非工程背景的入门书[9];历史相关[10], [11], [12]....