3、保险理赔严重程度分析与预测

保险理赔严重程度分析与预测

1. 测试集预测

在完成模型训练后，需要对测试集进行预测。以下是实现该功能的代码：

println("Run prediction on the test set")
cvModel.transform(Preproessing.testData)
      .select("id", "prediction")
      .withColumnRenamed("prediction", "loss")
      .coalesce(1) // to get all the predictions in a single csv file
      .write.format("com.databricks.spark.csv")
      .option("header", "true")
      .save("output/result_LR.csv")

上述代码会生成一个名为 result_LR.csv 的 CSV 文件，打开该文件可以看到每个 ID 对应的损失（理赔）情况。最后，建议调用 spark.stop() 方法停止 Spark 会话。

2. GBT 回归器预测保险理赔严重程度

2.1 GBT 原理

梯度提升树（GBT）通过迭代训练多个决策树来最小化损失函数。在每次迭代中，算法使用当前的集成模型对每个训练实例的标签进行预测，然后将原始预测结果与真实标签进行比较。在后续迭代中，如果对数据集重新标记，更注重预测效果较差的训练实