LMR的博客

Spark中基于模型的特征选择实现 基于模型的特征选择方法是一种常见的特征选择方法，此类方法是基于我们构造的最终模型来选择适合的特征子集。目前Spark中可直接使用的特征选择方法有限，下面介绍基于Spark中的交叉验证来进行特征选择的方法。 1.Spark交叉验证 由于本文介绍的特征选择方法的实现是基于交叉验证实现的，本节中我们先介绍Spark的交叉验证的使用。这里使用的模型是简单的逻辑回归模型，我们通过交叉验证来找到迭代次数等参数。 import org.apache.spark.ml.classific

package mllib import org.apache.log4j.{Level, Logger} import org.apache.spark.mllib.classification.{LogisticRegressionModel, LogisticRegressionWithLBFGS} import org.apache.spark.mllib.evaluation.Mul...

保序回归：一种可以使资源利用率最大化的算法 当前IT行业虚拟化比较流行，使用这种方式，找到合适的判断参数，就可以使用此算法使资源得到最大程度的合理利用。 1.数学定义 保序回归是回归算法的一种,基本思想是：给定一个有限的实数集合,训练一个模型来最小化下列方程： 并且满足下列约束条件： 2.算法过程说明 从该序列的首元素往后观察，一旦出现乱序现象停止该轮观察，从该乱序元素开始逐个...