鱼塘

目录广义可加模型基于树

组织介绍第二章 监督学习总览首先是基础的线性方法.第三章 回归的线性方法第四章 分类的线性方法对应于 2.8 节中的分类, 是高维学习技术的重要基石.第五章 样条函数, 小波及单预测器的罚方法第六章 核方法和局部回归在第七章中, 主要是偏差和方差, 过拟合和用于选择模型用的交叉验证; 第八章中介绍了极大似然法, 贝叶斯推断, 自助法, EM算法, 吉布斯抽样和...

目录基本概念监督学习变量分类两种基础的预测方法最小二乘法最邻近法统计决策论期望预测误差基本概念监督学习已知某个由测量得到的或预设的输入变量 (inputs) 集及其所对应的输出变量 (outputs), 且输入变量对输出变量有影响. 想要通过学习, 对任意输入变量去预测其输出值, 这样的学习过程被称为监督学习 (supervised learning).注: 在统计学中, 输入变量 (i...

目录线性回归模型线性回归问题的方法子集的选择最优集选择向前和向后逐步选择向前逐渐 (Forward-Stagewise) 回归收缩方法岭回归Lasso其他方法主成分回归偏最小二乘线性回归模型线性回归模型有如下形式f(X)=β0+∑j=1pXjβj.f(\bm X) = \beta_{0}+\sum\limits_{j=1}^{p}\bm X_{j}\beta_{j}.f(X)=β0​+j=1...

目录模型推断自助法与最大似然估计的关系贝叶斯方法自助法与贝叶斯推断EM算法与MCMC平均袋装法堆栈随机搜索模型推断给出极大似然法的一个一般性的描述，以及用于推断的贝叶斯方法。自助法与最大似然估计的关系贝叶斯方法自助法与贝叶斯推断EM算法与MCMC平均我们提出模型平均和改善的相关技巧，包括committee方法、bagging、stacking和bumping。袋装法堆栈随机搜...

本部分将简单游戏扩展到具有多个状态的连续上下文。马尔可夫博弈可以看作是多个具有自己奖励函数的智能体的马尔可夫决策过程。

本部分将简单游戏扩展到具有多个状态的连续上下文。马尔可夫博弈可以看作是多个具有自己奖励函数的智能体的马尔可夫决策过程。

现将单智能体的核心概念扩展到多智能体系统的问题。在该系统中，可将其他智能体建模为潜在的盟友或对手，并随着时间的推移进行相应的调整。

在有限维场景中，POMDP问题的精确解也经常很难计算。因而，考虑求得近似解的方法是合理的。本部分从离线近似解讨论到在线近似解，是近似方法的常规逻辑思路。

前面已经讨论了两个不确定性，即结果状态和模型的不确定性。在这一部分将不确定性扩展到状态。具体讲，接收到的观测值与状态只有概率关系，而不是精确地观察状态。此类问题可以建模为部分可观察的马尔可夫决策过程（POMDP），但POMDP很难以最佳方式解决所有问题，因而需要引入更多的近似策略。

与基于模型的方法相比，无模型方法不需要构建转移函数和奖励函数的显性表示，而是直接作用于值函数建模。进一步地，考虑模拟学习来重建奖励函数。

解决存在模型不确定性的此类问题是强化学习领域的主题，这是这部分的重点。解决模型不确定性的几个挑战：首先，智能体必须仔细平衡环境探索和利用通过经验获得的知识。第二，在做出重要决策后很长时间内，可能会收到奖励，因此必须将以后奖励的学分分配给以前的决策。第三，智能体必须从有限的经验中进行概括。

策略搜索即搜索策略空间，而无需直接计算值函数。策略空间的维数通常低于状态空间，并且通常可以更有效地搜索。本部分首先讨论在初始状态分布下估计策略价值的方法。然后讨论不使用策略梯度估计的搜索方法和策略梯度方法。接着介绍Actor-Critic方法用值函数的估计来指导优化。

上文中提及的精确解方法适用于小型离散问题，对于较大状态空间的问题，计算精确解需要极大的内存量，因而考虑近似解的方法。常使用approximate dynamic programming的方法去寻求近似解，进而使用在线方法实现实时计算。

此前讲述了在某个时间点做一个单一的决定的问题，但许多重要的问题需要做出一系列的决定。序列环境中的最佳决策需要对未来行动和观察序列进行推理。

到目前为止，均假设概率模型的参数和结构是已知的。本部分讨论从数据学习或拟合模型参数的问题，进一步讨论了从数据中学习模型结构的方法，最后对决策理论进行了简单的概述。

本部分将展示如何使用概率表示进行推理，即确定一组给定观察变量相关值的一个或多个未观察变量的分布。在该部分中首先介绍直接推断的办法，然后给出几种有效的近似方法。

理性决策需要对不确定性和目标进行推理。不确定性源于预测未来事件能力的实际及理论限制。为了实现其目标，一个强有力的决策系统必须考虑到当前世界状况和未来事件中的各种不确定性来源。首先，讨论了如何将不确定性表示为概率分布，即如何将现实问题构建为概率模型，如何使用模型进行推理，以及如何从数据中学习模型的参数和结构。然后，介绍了效用原理 （utility theory ）的基础，并通过最大期望效用原理说明如何形成不确定性下理性决策的基础。最后，讨论了如何将效用理论的概念纳入上述概率图形模型中，以形成决策网络。

机器学习决策算法新书的读书笔记