guiwin的博客

模型的误差包括三个部分：偏差（bias），方差（variance）和噪声（noise）。模型的设计准则当模型本身过于复杂时，特征和类别之间的关系中所有的细枝末节都被捕捉，主要的趋势反而在乱花渐欲迷人眼中没有得到应有的重视，这就会导致过拟合（overfitting）的发生。反过来，如果模型过于简单，它不仅没有能力捕捉细微的相关性，甚至连主要趋势本身都没办法抓住，这样的现象就是欠拟合（...

19 | 非参数化的局部模型：K近邻基于实例的学习方法学的不是明确的泛化模型，而是样本之间的关系； k近邻算法是非参数的局部化模型，具有无需训练的优点，但分类新实例的计算复杂度较高； k 近邻算法的性能取决于超参数 k 的取值和距离的定义方式； 核方法和近邻算法都可以用于数据的概率密度估计。20 | 基于距离的学习：聚类与度量学习 聚类分析是一类描述模型，它将数据按照相似度分...

频率学派从「自然」角度出发，试图直接为「事件」本身建模，即事件A在独立重复试验中发生的频率趋于极限p，那么这个极限就是该事件的概率。图1：频率视角下的机器学习贝叶斯学派并不从试图刻画「事件」本身，而从「观察者」角度出发。贝叶斯学派并不试图说「事件本身是随机的」，或者「世界的本体带有某种随机性」，这套理论根本不言说关于「世界本体」的东西，而只是从「观察者知识不完备」这一出发点开始，构造一...

31 | 建模连续分布：高斯网络高斯网络采用高斯线性模型建模连续变量，其数字特征为均值向量和协方差矩阵； 高斯贝叶斯网络利用多元高斯分布生成独立图，利用信息矩阵计算网络中的条件概率； 高斯马尔可夫随机场具有成对马尔可夫性，通过高斯分布可以确定结点势和边势； 混合网络是同时具有离散型结点和连续型结点的概率图模型。32 | 从有限到无限：高斯过程高斯过程由无穷多个随机变量组成，定义...