Timmy_attack的博客

模型(model)：泛指从数据中学得的结果。 训练数据(training data)：训练过程中使用的数据。 训练样本(training sample)：训练数据中的每个样本。 训练集(training set)：训练样本组成的集合。 假设(hypothesis)：学得模型对应了关于数据的某种潜在的规律。 真相/真实(ground-truth)：这种潜在规律的自身。 假设空间：所有假设...

增长函数（growth function）：增长函数表示假设空间H对m个示例所能赋予标记的最大可能结果数。对于m个示例的数据集，最多只能有2^m个标记结果，而2很多情况下达不到2^m个。 比如说现在数据集有两个数据点，考虑一种二分类的情况，可以将其分类成A或者B，则可能的值有：AA、AB、BA和BB，所以这里增长函数的值为4.对分（dichotomy）：对于二分类问题来说，H中的假设对D中m...

比较检验

经验误差与过拟合任何一个学习器都会有误差，我们把分类错误的样品数占样品总数的比例称为“错误率”(error rate)。把学习器在训练集上的误差称为“训练误差”(training error)或“经验误差”(empirical error)，在新样品上的误差成为“泛化误差”(generalization error)。事实上，我们期望泛化误差小的学习器。“过拟合”(overfitting)...

基本流程　　决策树的功能和结构：一颗决策树包含一个根结点、若干个内部结点和若干个叶结点；叶结点对应于决策结果，其它每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样片全集。 　　决策树学习的目的：为了产生一棵泛化能力强，即处理未见示例能力强的决策树。 　　决策树的生成是一个递归过程，但有递归就必定有导致递归返回的情况，要不然递归就会一直...

线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数。如，给定由d个属性描述的示例x=(x1;x2;...;xd)x=(x1;x2;...;xd)x=(x_{1};x_{2};...;x_{d})，其中xixix_{i}是在iii个属性上的取值，则线性模型为f(x)=w1x1+w2x2+...+wdxd+bf(x)=w1x1+w2x2+...+wdxd+bf(x)=w...

神经元模型　　神经网络中最基本的成分是神经元(neuron)模型。在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值”(threshold)，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物资。 　　图5.1所示的简单模型就是沿用至今的“M-P神经元模型”。在这个模型中，神经...

任务与奖赏　　“强化学习”(reinforcement learning)可以讲述为在任务过程中不断摸索，然后总结出较好的完成任务策略。 　　强化学习任务通常用马尔可夫决策过程(Markov Decision Process，简称MDP)来描述：机器处于环境EEE中，状态空间为XXX，其中每个状态x∈Xx∈Xx \in X是机器感知到的环境的描述；机器能采取的动作构成了动作空间AAA；若某个...