weixin_43648821的博客

Spark的ML软件包，其操作是基于DataFrame的。ML包括转换器(Transformer)、评估器(Estimator)、管道(Pipeline)。 1、 转换器----Transformer 通常是将一个新列附加到DataFrame来转换数据。从高层次上看，当从转换器的抽象类派生时，每个新的转换器需要实现.transform()方法。该方法要求传递一个要被转换的DataFrame，该参数通常是第一个也是唯一的一个强制性参数。其他参数有inputCol、outputCol，inputCol的参数默认

机器学习总结 一、基本概念 1、有监督学习：输入数据是带有标签的，称为有监督学习。 2、无监督学习：输入数据是不带标签的，称为无监督学习。 3、局部最优：函数值空间的一个有限区域内寻找最小值，这个最小值，是小于或等于附近点的函数值，但是有可能大于较远距离的点； 4、全局最大值：在函数值空间整个区域内寻找最小值。 二：机器学习的学习方式 1、监督学习 特征：监督学习是利用已知正确答案的实例来训练网络...

机器学习总结（二） 1、支持向量机（SVM） 支持向量 支持向量机 对偶问题 支持向量机模型中，本身是一个凸二次优化问题，通过引入拉格朗日乘子，将其对偶变换成对偶变量的优化问题之后，可以更加有效地求解。其过程如下： 核函数 SVM的预测公式： 所以，对于任意xi，预测结果f(xi)与实际结果y(xi)之间的距离小于1。又因为y(j)∈{1,−1}，当训练样本时正例时，y=1,预测结果f&gt...