超级超级小天才的博客

强化学习（reinforcement learning，RL）是机器学习的一个领域，主要通过在环境（environment）中采取动作（action），来最大化某些指标，例如累计奖赏（cumulative reward）的一种学习方法。强化学习、有监督学习（supervised learning）与无监督学习（unsupervised learning）三者共同构成了机器学习的三个重要方面Re...

Acting under UncertaintyQualification Problem: There is no complete solution within logic, system designers have to use good judgment in deciding how detailed that want to be in specifying their mode...

概率模型与概率图模型概率模型概率模型（probabilistic model）提供了一种描述框架，将学习任务归结于计算变量的概率分布。在概率模型中，利用已知变量推测未知变量的分布称为推断（inference），其核心是如何基于可观测变量推测出未知变量的条件分布。假定所关心的变量集合为Y，可观测变量集合为O，其他变量的集合为R。生成式（generative）模型考虑联合分布P(Y,R,O)...

支持向量机基本模型支持向量机的基本思想是，在如下的样本集中：基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开划分超平面可以表示成如下的线性方程：其中w为法向量，b为位移项，空间内任意一点到以上超平面的距离为：则有距离超平面最近的几个训练样本点使得上式的等号成立，它们被称为支持向量（support vector），两个异类支持向量到超平面的距离之和为：称之为间...

神经元模型神经网络（neural networks）定义为：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络中最基本的成分是神经元（neuron）模型，其中最典型的是“M-P神经元模型”，其由多个输入信号，神经元模型通过将输入信号在加权求和，然后与该神经元阈值比较，通过激活函数（activation function...

基本流程决策树（decision tree）是基于树结构进行决策的，是一种符合人类面临决策问题时的思考方式。采用了分而治之（divide-and-conquer）的策略。决策树建立的基本流程决策树的构建是一个递归的 过程，决策树生成算法中有三种情形会导致递归：当前结点包含的样本全属于同一类别，无需划分当前属性集为空，或是所有样本在所有属性上取值相同，无法划分当前结点包含的样本集合为...

基本形式给定由d个属性描述的示例x=(x1; x2; …; xd)，其中xi是x在第i个属性上的取值，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即写成向量形式即确定w与b后模型即随之确定非线性模型（nonlinear model）可在线性模型基础上通过引入层级结构或高维映射得到线性模型具有很好的解释性（comprehensibility）...

误差与过拟合误差假设m个样本中有a个样本分类错误错误率（error rate）：分类错误的样本数占样本总数的比例，E=a/m精度（accuracy）：分类正确的样本数占样本总数的比例，1-a/m精度=1-错误率误差（error）：学习器的实际预测输出与样本的真实输出之间的差异学习器在训练集上的误差称为训练误差（training error）/经验误差（empirical error...

基本概念机器学习（Machine Learning）机器学习研究的内容是关于在计算机上从数据/经验（data/experience）中产生模型（model）的算法，即学习算法（learning algorithm）。Mitchell于1997年给出的定义：假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学...