Spark-ml交叉验证demo

最新推荐文章于 2025-07-09 17:43:31 发布
最新推荐文章于 2025-07-09 17:43:31 发布
阅读量871 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 数据挖掘 文章标签： 交叉验证 spark-ml lr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/baifanwudi/article/details/88997286
本文介绍了一个基于Spark的数据处理流程，使用逻辑回归(Logistic Regression)进行预测建模，并通过交叉验证(Cross Validation)来选择最优参数的过程。具体涉及了特征组装、模型训练、参数网格搜索等内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原始数据tableData结构

root
 |-- user_id: integer (nullable = false)
 |-- city: string (nullable = true)
 |-- category: integer (nullable = false)
 |-- from_place: string (nullable = true)
 |-- to_place: string (nullable = true)
 |-- isclick: integer (nullable = false)
 |-- future_day: integer (nullable = false)
 |-- banner_min_time: integer (nullable = false)
 |-- banner_min_price: double (nullable = false)
 |-- start_city_id: integer (nullable = false)
 |-- start_city_name: string (nullable = true)
 |-- end_city_id: integer (nullable = false)
 |-- end_city_name: string (nullable = true)
 |-- page_train: integer (nullable = false)
 |-- page_flight: integer (nullable = false)
 |-- page_bus: integer (nullable = false)
 |-- page_ship: integer (nullable = false)
 |-- page_transfer: integer (nullable = false)
 |-- start_end_distance: double (nullable = false)
 |-- total_transport: integer (nullable = false)
 |-- high_railway_percent: double (nullable = false)
 |-- avg_time: integer (nullable = false)
 |-- min_time: integer (nullable = false)
 |-- avg_price: double (nullable = false)
 |-- min_price: double (nullable = false)
 |-- label_05060801: integer (nullable = false)
 |-- label_05060701: integer (nullable = false)
 |-- label_05060601: integer (nullable = false)
 |-- label_02050601: integer (nullable = false)
 |-- label_02050501: integer (nullable = false)
 |-- label_02050401: integer (nullable = false)
 |-- is_match_category: integer (nullable = false)
 |-- train_consumer_prefer: integer (nullable = false)
 |-- flight_consumer_prefer: integer (nullable = false)
 |-- bus_consumer_prefer: integer (nullable = false)
 |-- create_date: timestamp (nullable = true)

+---------+----+--------+----------+--------+-------+----------+---------------+----------------+-------------+---------------+-----------+-------------+----------+-----------+--------+---------+-------------+------------------+---------------+--------------------+--------+--------+---------+---------+--------------+--------------+--------------+--------------+--------------+--------------+-----------------+---------------------+----------------------+-------------------+---------------------+
|user_id  |city|category|from_place|to_place|isclick|future_day|banner_min_time|banner_min_price|start_city_id|start_city_name|end_city_id|end_city_name|page_train|page_flight|page_bus|page_ship|page_transfer|start_end_distance|total_transport|high_railway_percent|avg_time|min_time|avg_price|min_price|label_05060801|label_05060701|label_05060601|label_02050601|label_02050501|label_02050401|is_match_category|train_consumer_prefer|flight_consumer_prefer|bus_consumer_prefer|create_date          |
+---------+----+--------+----------+--------+-------+----------+---------------+----------------+-------------+---------------+-----------+-------------+----------+-----------+--------+---------+-------------+------------------+---------------+--------------------+--------+--------+---------+---------+--------------+--------------+--------------+--------------+--------------+--------------+-----------------+---------------------+----------------------+-------------------+---------------------+
|100523214|桂林市 |2       |桂林        |南昌      |0      |1         |27900          |1850.0          |2099         |桂林市            |1235       |南昌市          |6         |0          |0       |0        |4            |681000.0          |16             |0.45                |34507   |17760   |220.0    |112.0    |0             |0             |0             |0             |0             |1             |0                |0                    |0                     |0                  |2019-02-20 00:00:00.0|
|100523214|桂林市 |2       |桂林        |株洲      |0      |1         |51900          |1410.0          |2099         |桂林市            |1805       |株洲市          |6         |0          |0       |0        |4            |412000.0          |21             |0.47                |19262   |10680   |117.0    |69.0     |0             |0             |0             |0             |0             |1             |0                |0                    |0                     |0                  |2019-02-20 00:00:00.0|
|102338191|广州市 |2       |广州南       |滕州东     |0      |1         |7500           |1424.0          |1932         |广州市            |1384       |滕州市          |3         |0          |0       |0        |2            |1386000.0         |2              |0.0                 |81600   |81600   |229.0    |229.0    |0             |0             |0             |0             |1             |1             |0                |0                    |0                     |0                  |2019-02-20 00:00:00.0|
|102338191|广州市 |2       |广州南       |滕州东     |0      |13        |7500           |781.0           |1932         |广州市            |1384       |滕州市          |3         |0          |0       |0        |2            |1386000.0         |2              |0.0                 |81600   |81600   |229.0    |229.0    |0             |0             |0             |0             |1             |1             |0                |0                    |0                     |0                  |2019-02-20 00:00:00.0|
|103053718|朝阳市 |3       |赤峰        |通辽      |0      |1         |14400          |80.0            |371          |赤峰市            |384        |通辽市          |11        |2          |0       |0        |9            |314000.0          |12             |0.0                 |21139   |13440   |41.0     |23.5     |0             |0             |1             |0             |0             |1             |0                |2                    |0                     |0                  |2019-02-20 00:00:00.0|
|103053718|朝阳市 |3       |赤峰        |霍林郭勒    |0      |1         |14400          |162.0           |371          |赤峰市            |392        |霍林郭勒市        |11        |2          |0       |0        |9            |370000.0          |-99            |-99.0               |-99     |-99     |-99.0    |-99.0    |0             |0             |1             |0             |0             |1             |0                |2                    |0                     |0                  |2019-02-20 00:00:00.0|
|103053718|朝阳市 |3       |杨杖子       |叶柏寿     |0      |1         |9000           |6.5             |569          |凌源市            |566        |建平县          |6         |0          |0       |0        |4            |26000.0           |11             |0.0                 |4669    |2340    |7.0      |3.0      |0             |0             |1             |0             |0             |1             |0                |2                    |0                     |0                  |2019-02-20 00:00:00.0|
|103425337|null|2       |大连        |长春      |0      |0         |6300           |380.0           |477          |大连市            |578        |长春市          |3         |0          |0       |0        |1            |627000.0          |44             |0.57                |20231   |9600    |211.0    |75.0     |0             |1             |0             |0             |0             |1             |0                |3                    |0                     |0                  |2019-02-20 00:00:00.0|
|105705123|邢台市 |7       |清河城       |北京      |0      |1         |60             |32.0            |117          |清河县            |1          |北京市          |22        |0          |0       |0        |8            |325000.0          |14             |0.0                 |17432   |14520   |54.0     |50.5     |0             |0             |0             |0             |1             |1             |0                |2                    |1                     |0                  |2019-02-20 00:00:00.0|
|110193722|阜新市 |2       |阜新        |北京      |0      |0         |4500           |2210.0          |533          |阜新市            |1          |北京市          |2         |0          |0       |0        |1            |501000.0          |3              |0.0                 |46220   |35820   |79.0     |72.0     |0             |1             |0             |1             |1             |1             |0                |4                    |1                     |1                  |2019-02-20 00:00:00.0|
|110193722|阜新市 |3       |阜新        |北京      |0      |1         |25200          |180.0           |533          |阜新市            |1          |北京市          |2         |0          |0       |0        |1            |501000.0          |3              |0.0                 |46220   |35820   |79.0     |72.0     |0             |1             |0             |1             |1             |1             |0                |4                    |1                     |1                  |2019-02-20 00:00:00.0|
|110193722|阜新市 |3       |阜新        |北京      |0      |2         |25200          |180.0           |533          |阜新市            |1          |北京市          |2         |0          |0       |0        |1            |501000.0          |3              |0.0                 |46220   |35820   |79.0     |72.0     |0             |1             |0             |1             |1             |1             |0                |4                    |1                     |1                  |2019-02-20 00:00:00.0|
|110234656|北京市 |3       |保定        |石家庄     |0      |1         |7200           |38.0            |121          |保定市            |36         |石家庄市         |23        |0          |0       |0        |8            |124000.0          |195            |0.46                |4423    |2160    |44.0     |10.5     |0             |1             |0             |1             |1             |1             |0                |4                    |2                     |2                  |2019-02-20 00:00:00.0|
|110234656|北京市 |3       |保定        |天津      |0      |1         |9000           |61.0            |121          |保定市            |18         |天津市          |23        |0          |0       |0        |8            |152000.0          |64             |0.66                |7423    |3180    |55.0     |23.5     |0             |1             |0             |1             |1             |1             |0                |4                    |2                     |2                  |2019-02-20 00:00:00.0|
|110234656|北京市 |3       |石家庄       |青岛      |0      |1         |27000          |195.0           |36           |石家庄市           |1358       |青岛市          |23        |0          |0       |0        |8            |565000.0          |22             |0.63                |11400   |11400   |205.0    |81.0     |0             |1             |0             |1             |1             |1             |0                |4                    |2                     |2                  |2019-02-20 00:00:00.0|
|110234656|北京市 |2       |天津        |青岛      |0      |1         |4200           |383.0           |18           |天津市            |1358       |青岛市          |23        |0          |0       |0        |8            |437000.0          |32             |0.47                |4581    |4200    |199.0    |91.0     |0             |1             |0             |1             |1             |1             |0                |4                    |2                     |2                  |2019-02-20 00:00:00.0|
|110234656|北京市 |3       |保定        |青岛      |0      |1         |30600          |196.0           |121          |保定市            |1358       |青岛市          |23        |0          |0       |0        |8            |535000.0          |-99            |-99.0               |-99     |-99     |-99.0    |-99.0    |0             |1             |0             |1             |1             |1             |0                |4                    |2                     |2                  |2019-02-20 00:00:00.0|
|110274557|邵阳市 |3       |衡阳        |隆回      |0      |1         |12600          |85.0            |1821         |衡阳市            |1841       |隆回县          |2         |0          |0       |0        |1            |154000.0          |12             |1.0                 |4020    |3900    |60.0     |54.0     |0             |0             |0             |0             |0             |0             |0                |0                    |0                     |0                  |2019-02-20 00:00:00.0|
|115392135|株洲市 |3       |长沙        |大丰      |0      |0         |3600           |20.0            |1795         |长沙市            |1805       |株洲市          |4         |0          |0       |0        |1            |48000.0           |156            |0.07                |2752    |420     |20.0     |4.0      |0             |0             |0             |0             |1             |1             |0                |2                    |0                     |0                  |2019-02-20 00:00:00.0|
|115392135|株洲市 |26      |大丰        |长沙      |0      |0         |7200           |75.0            |1805         |株洲市            |1795       |长沙市          |11        |0          |0       |0        |1            |48000.0           |161            |0.09                |2652    |480     |19.0     |5.0      |0             |0             |0             |0             |1             |1             |0                |2                    |0                     |0                  |2019-02-20 00:00:00.0|
+---------+----+--------+----------+--------+-------+----------+---------------+----------------+-------------+---------------+-----------+-------------+----------+-----------+--------+---------+-------------+------------------+---------------+--------------------+--------+--------+---------+---------+--------------+--------------+--------------+--------------+--------------+--------------+-----------------+---------------------+----------------------+-------------------+---------------------+
only showing top 20 rows

islick是验证label，其他字段是特征集。
构建features

import org.apache.spark.ml.classification.LogisticRegression;
import org.apache.spark.ml.classification.LogisticRegressionModel;
import org.apache.spark.ml.evaluation.BinaryClassificationEvaluator;
import org.apache.spark.ml.feature.VectorAssembler;
import org.apache.spark.ml.param.ParamMap;
import org.apache.spark.ml.tuning.CrossValidator;
import org.apache.spark.ml.tuning.CrossValidatorModel;
import org.apache.spark.ml.tuning.ParamGridBuilder;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

。。。
        VectorAssembler assembler = new VectorAssembler().setInputCols(new String[]{
                "category", "future_day", "banner_min_time","banner_min_price",
                "page_train", "page_flight", "page_bus", "page_transfer",
                "start_end_distance", "total_transport", "high_railway_percent", "avg_time", "min_time",
                "avg_price", "min_price",
                "label_05060801", "label_05060701", "label_05060601", "label_02050601", "label_02050501", "label_02050401",
                "is_match_category", "train_consumer_prefer", "flight_consumer_prefer", "bus_consumer_prefer"
        }).setOutputCol("features");

        Dataset<Row> trainData = assembler.transform(tableData);
        LogisticRegression lr = new LogisticRegression()
                .setElasticNetParam(0)
                .setLabelCol("isclick")
                .setFeaturesCol("features")
                .setMaxIter(60)
                .setRegParam(0.1);

        ParamMap[] paramGrid = new ParamGridBuilder().
                addGrid(lr.maxIter(), new int[]{50, 80})
                .addGrid(lr.regParam(), new double[]{ 0.005, 0.01})
                .addGrid(lr.elasticNetParam(), new double[]{0, 0.1})
                .build();

        BinaryClassificationEvaluator binaryClassificationEvaluator = new BinaryClassificationEvaluator().setLabelCol("isclick");

        CrossValidator crossValidator = new CrossValidator()
                .setEstimator(lr)
                .setEvaluator(binaryClassificationEvaluator)
                .setEstimatorParamMaps(paramGrid).setNumFolds(3);
        CrossValidatorModel cvModel = crossValidator.fit(trainData);

这里我采用LR逻辑回归，Fold设置为3，采用auc评估标准。CrossValidatorModel 就是最佳交叉验证模型。

查看每一次交叉验证的结果

        System.out.println("------------------------");
        ParamMap[] paramMaps = cvModel.getEstimatorParamMaps();
        double[] rocArea = cvModel.avgMetrics();
        for (int i = 0; i < paramMaps.length; i++) {
            System.out.println("------------" + i + "-------------");
            System.out.println("param:" + paramMaps[i]);
            System.out.println("rocArea:" + rocArea[i]);

        }

结果显示

------------0-------------
param:{
	logreg_54489c6b4a15-elasticNetParam: 0.0,
	logreg_54489c6b4a15-maxIter: 50,
	logreg_54489c6b4a15-regParam: 0.005
}
rocArea:0.7561587339955449
------------1-------------
param:{
	logreg_54489c6b4a15-elasticNetParam: 0.1,
	logreg_54489c6b4a15-maxIter: 50,
	logreg_54489c6b4a15-regParam: 0.005
}
rocArea:0.7601808941246924
------------2-------------
param:{
	logreg_54489c6b4a15-elasticNetParam: 0.0,
	logreg_54489c6b4a15-maxIter: 50,
	logreg_54489c6b4a15-regParam: 0.01
}
rocArea:0.7458205940087932
------------3-------------
param:{
	logreg_54489c6b4a15-elasticNetParam: 0.1,
	logreg_54489c6b4a15-maxIter: 50,
	logreg_54489c6b4a15-regParam: 0.01
}
rocArea:0.7519450829980202
------------4-------------
param:{
	logreg_54489c6b4a15-elasticNetParam: 0.0,
	logreg_54489c6b4a15-maxIter: 80,
	logreg_54489c6b4a15-regParam: 0.005
}
rocArea:0.7561587339955449
------------5-------------
param:{
	logreg_54489c6b4a15-elasticNetParam: 0.1,
	logreg_54489c6b4a15-maxIter: 80,
	logreg_54489c6b4a15-regParam: 0.005
}
rocArea:0.7600964897398843
------------6-------------
param:{
	logreg_54489c6b4a15-elasticNetParam: 0.0,
	logreg_54489c6b4a15-maxIter: 80,
	logreg_54489c6b4a15-regParam: 0.01
}
rocArea:0.7458205940087932
------------7-------------
param:{
	logreg_54489c6b4a15-elasticNetParam: 0.1,
	logreg_54489c6b4a15-maxIter: 80,
	logreg_54489c6b4a15-regParam: 0.01
}
rocArea:0.7519466667404875

查看最佳模型的参数

        LogisticRegressionModel logisticRegressionModel = (LogisticRegressionModel) (cvModel.bestModel());
        System.out.println("---------coefficients is :------------------------------");
        System.out.println(logisticRegressionModel.coefficients());
        System.out.println("---------intercept is :------------------------------");
        System.out.println(logisticRegressionModel.intercept());
        System.out.println("------------best param is :------------------------------");
        System.out.println("ElasticNetParam:" + logisticRegressionModel.getElasticNetParam());
        System.out.println("RegParam:" + logisticRegressionModel.getRegParam());
        System.out.println("MaxIter:" + logisticRegressionModel.getMaxIter());

结果显示

---------coefficients is :------------------------------
[-0.020093624027311234,-0.023840313521126238,0.0,-4.870154374284758E-4,0.0,0.065071797632406,0.07375116647372162,0.0,2.1894539394004693E-7,-0.0018188669432944152,-0.0024137353437925675,-7.326062556226837E-6,-6.036644002424079E-7,4.186151682563356E-4,0.0,-0.4216808408256718,-0.25707113499256773,0.06709830247479415,0.0,0.009612099202465701,0.0,0.0,-0.08075082386845575,0.025511061645731456,-0.15643820797235122]
---------intercept is :------------------------------
-3.092110054323254
------------best param is :------------------------------
ElasticNetParam:0.1
RegParam:0.005
MaxIter:50

这样就成功打通spark逻辑回归的交叉验证数据。

Spark MLlib模型训练—分类算法Random forest classifier
08-31 8636
随机森林分类器是 Spark MLlib 中常用且高效的集成模型。它通过结合多棵决策树的预测结果，显著提升了模型的稳定性和准确性。在实际应用中，随机森林常用于文本分类、图像识别、金融风控等领域。分类代表算法组合方式适用场景优点缺点Bagging随机森林（Random Forest）、Bagged Decision Trees并行组合高方差模型（如决策树）- 减少过拟合- 模型稳定性高- 支持并行化训练- 对偏差大的基学习器提升有限Boosting序列组合。
Spark MLlib朴素贝叶斯算法（附代码）
尬聊码农
07-15 2355
目录 引言 一、贝叶斯定理 1.定义 2.公式推导 二、朴素贝叶斯 1.算法介绍 2.朴素贝叶斯分类器 3.学习与分类算法 4.拉普拉斯平滑 5.离散型和连续型特征属性 6.分类流程 7.朴素贝叶斯三种模型 8.案例说明 三、Spark MLlib朴素贝叶斯 四、总结 引言 目前很多分类算法都能实现分类的效果...
Spark ml pipline交叉验证之朴素贝叶斯.docx
09-03
Spark ml pipline交叉验证之朴素贝叶斯 模型训练 输入参数 训练代码 模型评估 输入参数 评估代码
SparkMl，随机森林预测模型demo
qq_41733481的博客
09-10 668
// 获取到hive中的数据 train_data= spark.sql("select * from events.train_data").withColumnRenamed("user_interested", "label") // 将字段全部双精度 df = train_data.select([col(c).cast(DoubleType()) for c in train_dat...
基于 Spark MLlib 的推荐系统实现
最新发布
m0_73889530的博客
07-09 651
基于 Spark MLlib 的推荐系统实现 本文解析了使用Spark MLlib构建推荐系统的关键技术与优化方法。首先介绍了Spark MLlib的核心框架演进，重点对比了RDD和DataFrame两种API的特性及其在2025年的最新发展（如深度学习集成、AutoML支持）。其次深入剖析了协同过滤算法原理及前沿趋势（如神经网络协同过滤、图神经网络）。最后提供了优化的Java代码实现，通过分布式操作避免性能瓶颈。全文从框架、算法到实践三个维度，为构建高效推荐系统提供了全面指导。
Spark ml pipline交叉验证之决策树回归.docx
08-10
Spark ml pipline交叉验证之决策树回归 //ML的VectorAssembler是一个transformer,要求数据类型不能是string，将多列数据转化为单列的向量列，比如把age、income等等字段列合并成一个 userFea 向量列，方便后续训练 //创建机器学习工作流 //创建回归评估器，用于基于训练集的多次训练后的模型选择 //获取最大迭代次数和正则参数，一共可以训练出（maxDepths*maxBins）个模型 //创建交叉验证器，他会把训练集分成NumFolds份，然后在其中(NumFolds-1)份里进行训练 //在其中一份里进行测试，针对上面的每一组参数都会训练出NumFolds个模型，最后选择一个最优的模型
sparkML 网格搜索+交叉验证
探索数据奥秘的博客
08-09 391
1、位置理解： 下方虚线框中的位置； 相当于网格搜索+交叉验证（CV）实现了更好的模型选择和参数调优，如果没有这一步，建模流程也是完整的，直接pipeline.fit 及后续步骤； 而使用这一步，则是选择了一个优秀的参数组合的模型，再用这个模型fit及后续步骤 2、参考文章： https://zhuanlan.zhihu.com/p/77883396 ...
Spark：交叉验证选择参数集
weixin_34090643的博客
01-07 439
spark的交叉验证和python sklearn库的交叉验证不太一样，python sklearn库cross_validation用来交叉验证选择模型，然后输出得分，而模型参数的选择同交叉验证是分开的模块。 而spark的org.apache.spark.ml.tuning包下的CrossValidator交叉验证类能够同时选择不同的参数组合来进...
Spark ML机器学习算法svm，als，线性回归，逻辑回归简单试验
Nougats的博客
07-09 1748
线性回归 导入训练集数据，将其解析为带label的RDD，然后使用LinearRegressionWithSGD 建立一个简单的线性模型预测label的值，最后计算了均方差来评估预测值与实际值的吻合度 object LinearRegressionModelDemo { def main(args: Array[String]): Unit = {
新手入门天池demo--金融数据分析赛题2：保险反欺诈预测.zip
09-28
ML.NET提供了评估器和交叉验证工具来帮助我们完成这些任务。 6. 模型优化：通过调整模型参数（如决策树的深度、SVM的C和γ参数等），我们可以优化模型性能。此外，还可以尝试集成学习方法，如bagging（随机森林）和...
Linux环境Spark安装配置及使用
热门推荐
weixin_33754065的博客
05-07 1万+
Linux环境Spark安装配置及使用 1. 认识Spark (1) Spark介绍 大数据计算引擎 官网：spark.apache.org/ 官方介绍：Apache Spark™ is a unified analytics engine for large-scale data processing.（Apache Spark™是一个用于大规模数据处理的统一分析引擎。） Spark是一种快速...
spark mllib 常用的自学demo
09-21
自己本人线下记录的一些关于spark学习的例子，大家可以参考下，比如刚学习或者接触大数据的朋友可以看一下。
Spark ml pipline交叉验证之线性回归.docx
08-10
Spark ml pipline交叉验证之线性回归 工具开发 //创建回归评估器，用于基于训练集的多次训练后的模型选择 //创建交叉验证器，他会把训练集分成NumFolds份，然后在其中(NumFolds-1)份里进行训练 //在其中一份里进行测试，针对上面的每一组参数都会训练出NumFolds个模型，最后选择一个最优的模型 //对最优的模型做一个模型评估
Sparkml实战
12-22
精确讲述SparkML里面算法调用以及算法之间串行以及并行
Spark ml pipline交叉验证之逻辑回归.docx
09-03
Spark ml pipline交叉验证之逻辑回归 模型训练 输入参数 训练代码 模型评估 输入参数 评估代码
spark PIPELINE 的交叉验证
u013571243的专栏
05-22 2973
1.创建CrossValidator   val crossval = new CrossValidator() .setEstimator(pipeline) .setEvaluator(new BinaryClassificationEvaluator)   第一个是pipeline程序 第二个是模型的求值函数   2.pipeline以前构造过,这里省过   3
【Spark】MLlib mark a demo（一）
sunwenxu的博客
08-09 320
标记一个DEMO以便于后面复习 DEMO背景阿里天池竞赛系列 口碑商家客流量预测 第一步取样 获取训练数据 package com.huadian.bigdata.ijcai import org.apache.spark.sql.{SaveMode, SparkSession} import org.apache.spark.sql.types.{IntegerType, StringTyp...
【Spark】MLlib mark a demo（三）
sunwenxu的博客
08-09 323
标记一个DEMO以便于后面复习 DEMO背景阿里天池竞赛系列 口碑商家客流量预测 第三步使用决策树回归算法 训练模型，并测试数据 package com.huadian.bigdata.ijcai import org.apache.spark.mllib.linalg.{Vector, Vectors} import org.apache.spark.mllib.regression.Labe...
Spark ml pipline交叉验证之逻辑回归
码上中年的博客
09-03 702
Spark ml pipline交叉验证之逻辑回归 1.1 模型训练 1.1.1 输入参数 { "modelName ": "逻辑回归_运动状态预测1 ", "numFolds ": "5 ", "labelColumn ": "activityId ", "maxIters ": [ 10, 20, 50, ...
Spark-ml和Scala实现GBDT算法详细教程
5. **模型评估与调优**：通过验证集评估模型性能，并根据需要调整参数进行模型优化。 ### 知识点四：libsvm格式数据集 libsvm是一种常用的用于支持向量机（SVM）分类问题的数据集格式。尽管名称中带有“svm”，但...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值