nature_XD的专栏

KNN算法（K-Nearest Neighbor，k最近邻分类算法）1. 算法思想从训练样本中选择k个与测试样本“距离”最近的样本，这k个样本中出现频率最高的类别即作为测试样本的类别。 原理：物以类聚 优缺点： 优点：算法简单，易于实现，不需要参数估计，不需要事先训练 缺点：KNN计算量大，且训练样本必须存储在本地，内存开销也特别大2. 基本测试使用简单数据对KNN算法进行测试。from n

0 引言 事实上，介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少，比如《数理统计学简史》，以及《统计决策论及贝叶斯分析 James O.Berger著》等等，然介绍贝叶斯网络的中文资料则非常少，中文书籍总共也没几本，有的多是英文资料，但初学者一上来就扔给他一堆英文论文，因无基础和语言的障碍而读得异常吃力导致无法继续读下去则是非常可惜的（当然，有了一定的基础后，便可阅读更多的英文资料

回归就是设法找出变量间在数量上的依存变化关系，用函数表达式表达出来，这个表达式称之为回归方程。回归问题的条件/前提：1）收集的数据2）假设的模型该模型是一个函数，这个函数含有未知的参数，通过学习可以对参数值做一个估计。然后利用这个模型去预测或分类新的数据。1. 线性回归收集的数据中，每一个分量均可以看做是一个特征。当两个变量存在准确、严格的直线关

机器学习正则化

引出正则化项可以取不同的形式。例如回归问题中，损失函数是平方损失，正则化项可以是参数向量的L2范数：