1.数据清洗,数据转化:将数据集转化为机器学习要求的格式,归一化,平均,方差,离散化。等等
2.mean(X):求平均,如果该X是数组就求数组平均,如果是矩阵就按照列求平均。mean(A,1) = mean(A),mean(A,2)是矩阵求各行的均值
3.st.dev:基于样本估算标准偏差。标准偏差反映数值相对于平均值(mean) 的离散程度。
4.数据规约:剔除异常数据,将数据降维(剔除不必要的纬度)(方法:SVD奇异值分解,PCA主成分分析),数据实例过多的情况下,选取实例子集
5.无监督学习:从没有标签的数据中发现隐藏的结构,类似推荐系统。欧氏距离和非欧距离
6.欧氏距离:在n纬空间中,计算两个元素的距离,常称为P-范数距离,有L1和L2两种
L1(欧氏距离):各个维度差的平方求和的平方根
L2(曼哈顿距离):各个维度差的绝对值之和
7.非欧距离:基于元素的属性而非空间位置,比较有名的包括杰卡德距离,余弦距离,编辑距离,汉明距离
杰卡德距离:两个集合之间的相似度
余弦距离:空间向量的夹角的余弦值
编辑距离:比较两个字符串,指的是字符串a转到字符串b所需要的操作数
8.聚类:根据某种距离度娘,将相似的实例放入相应的簇
9.分层或凝聚:将每个点自己作为一个簇,然后不断把相似的簇合并到一起
10.K均值聚类算法:把相互距离尽可能元的