Joyce0625的专栏

K nearest-neighbour methods 理论依据：主要是基于相似性 算法步骤：（1）       数据归一化处理（2）       找到待分类点或者待预测点的K个最近邻①
    相关数据：欧氏距离②
    文本：余弦相似度（3）       预测①  分类概率最大的那个类别就是要找的类别②  数值预测K个最近邻的平均值

这篇文章是自己对学习random forest的整理，里面参考了很多其他博主的成果，非常感谢，他们的原文链接详见参考文献。Random Forest，顾名思义，Random就是随机抽取，Forest就是说这里不止一棵树，而由一群决策树组成的一片森林，连起来就是用随机抽取的方法训练出一群决策树来完成分类任务。RF用了两次随机抽取，一次是对训练样本的随机抽取；另一次是对变量的随机抽取。

特征值分解和奇异值分解是重要的线代知识，在大量算法里面出现，特意在这里总结一下。*特征值分解定义：：特征值:对应的特征向量目标：将一个矩阵分解成过程：方法：算出A的特征值，组成Σ；算出每个特征值对应的特征向量（彼此正交），组成S含义：对一个N阶对称方阵进行特征分解，就是产生了该空间的N个标准