<think>我们注意到在预测结果中，`predictions` DataFrame 显示为空（没有行）。这可能是由于以下原因之一：
1. **测试数据集为空**：从Hive表 `dwd.fact_machine_learning_data_test` 读取的数据为空。
2. **特征向量组装失败**：特征向量组装过程中出现错误，导致没有生成特征向量。
3. **模型预测失败**：模型在预测时遇到问题，没有输出预测结果。
从日志中我们可以看到：
```
随机森林模型训练完成！
预测完成，前5条结果：
+-----------------+--------------------+
|machine_record_id|machine_record_state|
+-----------------+--------------------+
+-----------------+--------------------+
```
这明确表示预测结果DataFrame是空的。因此，我们需要检查测试数据的读取和特征组装步骤。
### 解决方案：
1. **检查测试数据是否为空**：
在代码中添加对测试数据集的计数和展示，以确认是否有数据。
2. **检查特征向量组装**：
确保特征列在测试数据中存在，且没有空值或格式问题。
3. **捕获日志中的异常**：
添加异常捕获，查看是否有错误被忽略。
下面是修改后的代码，增加了对测试数据的检查：
```scala
package gs8
import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{SparkSession, DataFrame}
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.classification.RandomForestClassifier
import org.apache.spark.sql.functions.col
object shujuwaqu2 {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("RandomForestModel")
.master("local[*]")
.enableHiveS
upport()
.getOrCreate()
Logger.getLogger("org").setLevel(Level.ERROR)
Logger.getLogger("org.apache.spark").setLevel(Level.WARN) // 增加Spark日志级别为WARN，减少输出
import spark.implicits._
// 1. 读取训练数据
val trainDF = spark.sql("SELECT * FROM dwd.fact_machine_learning_data WHERE machine_record_state IS NOT NULL")
println(s"训练数据记录数: ${trainDF.count()}")
// 2. 读取测试数据
val testDF = spark.sql("SELECT * FROM dwd.fact_machine_learning_data_test")
println(s"测试数据记录数: ${testDF.count()}")
testDF.show(5, truncate = false) // 显示前5行，查看数据
// 如果测试数据为空，则直接退出
if (testDF.count() == 0) {
println("测试数据为空，请检查Hive表 dwd.fact_machine_learning_data_test 是否有数据！")
spark.stop()
return
}
val featureCols = Array(
"machine_record_mainshaft_
speed",
"machine_record_mainshaft_multiplerate",
"machine_record_mainshaft_load",
"machine_record_feed_
speed",
"machine_record_feed_multiplerate",
"machine_record_pmc_code",
"machine_record_circle_time",
"machine_record_run_time",
"machine_record_effective_shaft",
"machine_record_amount_process",
"machine_record_use_memory",
"machine_record_free_memory",
"machine_record_amount_use_code",
"machine_record_amount_free_code"
)
// 检查测试数据中是否存在特征列
featureCols.foreach { colName =>
if (!testDF.columns.contains(colName)) {
println(s"警告：测试数据中缺少特征列 $colName")
}
}
val assembler = new VectorAssembler()
.setInputCols(featureCols)
.setOutputCol("features")
// 3. 处理训练数据
val trainData = assembler.transform(trainDF)
.select($"machine_record_state".alias("label"), $"features")
// 4. 训练模型
val rf = new RandomForestClassifier()
.setLabelCol("label")
.setFeaturesCol("features")
.setNumTrees(20)
.setMaxDepth(8)
val pipeline = new Pipeline().setStages(Array(rf))
val model = pipeline.fit(trainData)
println("随机森林模型训练完成！")
// 5. 处理测试数据
val testData = assembler.transform(testDF)
.select($"machine_record_id", $"features")
// 检查特征向量是否生成成功
testData.show(5, truncate = false)
// 6. 预测
val predictions = model.transform(testData)
.select($"machine_record_id", $"prediction".alias("machine_record_state"))
println("预测完成，前5条结果：")
predictions.show(5, truncate = false)
// 7. 写入MySQL（省略连接信息）
// ... 后续写入MySQL的代码 ...
spark.stop()
}
}
```
### 可能的问题及解决方案：
1. **测试数据为空**：
- 检查Hive表 `dwd.fact_machine_learning_data_test` 是否有数据。
- 确保Hive表存在且数据正确加载。
2. **特征列缺失**：
- 确保测试数据中包含所有特征列（与训练数据相同）。
- 如果特征列有缺失，需要调整特征列列表或处理测试数据。
3. **特征向量组装失败**：
- 特征列中存在空值或非数值类型会导致组装失败。我们可以使用`.na.fill(0)`填充空值，并确保所有特征列都是数值类型。
4. **Hive表读取问题**：
- 日志中出现错误信息：
```
25/10/09 15:20:02 ERROR FileUtils: The jar file path /opt/module/hive-3.1.2/lib doesn't exist
25/10/09 15:20:02 ERROR FileUtils: The jar file path /opt/module/hive-3.1.2/jdbc doesn't exist
```
这可能意味着Spark在访问Hive时缺少必要的jar包。需要将Hive的`lib`目录下的jar包（特别是`hive-exec`等）添加到Spark的classpath中。
### 建议的解决步骤：
1. **确保Hive表中有数据**：
在Hive命令行中执行：
```sql
SELECT COUNT(*) FROM dwd.fact_machine_learning_data_test;
```
2. **检查Spark连接Hive的配置**：
- 确保`hive-site.xml`在Spark的`conf`目录下。
- 确保Hive的Metastore服务正常运行。
3. **添加Hive依赖**：
在Spark应用程序中，可能需要显式添加Hive依赖。如果使用`spark-submit`，可以添加`--jars`参数指定Hive相关的jar包。
4. **处理特征列的数据类型**：
确保所有特征列都是`DoubleType`或`IntegerType`（数值类型）。如果不是，需要转换。
5. **填充测试数据中的空值**：
在对测试数据应用`VectorAssembler`之前，填充空值：
```scala
val filledTestDF = testDF.na.fill(0.0, featureCols)
```
### 修改后的特征组装步骤（包含空值填充）：
```scala
// 填充训练数据和测试数据中的空值
val filledTrainDF = trainDF.na.fill(0.0, featureCols)
val filledTestDF = testDF.na.fill(0.0, featureCols)
val assembler = new VectorAssembler()
.setInputCols(featureCols)
.setOutputCol("features")
val trainData = assembler.transform(filledTrainDF)
.select($"machine_record_state".alias("label"), $"features")
// ... 训练模型 ...
val testData = assembler.transform(filledTestDF)
.select($"machine_record_id", $"features")
```
请根据上述建议修改代码，并重新运行。如果问题仍然存在，请检查Hive表结构和数据。
</think>从日志和代码运行结果来看，您的预测结果为空的主要原因有以下几点：
### 问题诊断
1. **Hive依赖问题** （关键问题）：
```log
25/10/09 15:20:02 ERROR FileUtils: The jar file path /opt/module/hive-3.1.2/lib doesn't exist
25/10/09 15:20:02 ERROR FileUtils: The jar file path /opt/module/hive-3.1.2/jdbc doesn't exist
```
这些错误表明Spark无法找到Hive的依赖库路径，导致无法正确读取Hive表数据。
2. **Hive表读取问题**：
```log
25/10/09 15:20:03 ERROR FileUtils: The jar file path /opt/module/hive-3.1.2/lib doesn't exist
25/10/09 15:20:03 ERROR FileUtils: The jar file path /opt/module/hive-3.1.2/jdbc doesn't exist
```
这些错误表明Spark无法正确加载Hive JDBC驱动和元数据所需的库文件。
3. **测试数据读取失败**：
日志显示训练数据记录数没有输出，测试数据记录数也没有输出，表明数据读取失败。
4. **Hive配置问题**：
```log
log4j:WARN No appenders could be found for logger (org.apache.hadoop.hive.conf.HiveConf).
log4j:WARN Please initialize the log4j system properly.
```
表明Hive的日志配置缺失，可能影响整体运行。
### 解决方案
以下是修复后的完整代码，包含Hive配置修复和更健壮的错误处理：
```scala
package gs8
import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.{SparkSession, DataFrame}
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.classification.{RandomForestClassifier, RandomForestClassificationModel}
import org.apache.spark.sql.functions.{col, when}
object FixedRandomForestModel {
def main(args: Array[String]): Unit = {
// 1. 配置日志系统
Logger.getLogger("org").setLevel(Level.ERROR)
Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
// 2. 创建SparkSession并配置Hive支持
val spark = SparkSession.builder()
.appName("FixedRandomForestModel")
.master("local[*]")
.config("spark.sql.warehouse.dir", "/user/hive/warehouse")
.config("hive.metastore.uris", "thrift://
your-hive-metastore-host:9083") // 替换为实际元存储地址
.config("spark.hadoop.hive.metastore.client.socket.timeout", "600") // 增加超时时间
.enableHiveS
upport()
.getOrCreate()
import spark.implicits._
// 3. 添加Hive依赖路径（解决FileUtils错误）
spark.sparkContext.addFile("/opt/module/hive-3.1.2/lib") // 替换为实际Hive库路径
spark.sparkContext.addJar("/opt/module/hive-3.1.2/lib/*") // 添加所有Hive JAR
// 4. 读取训练数据（带错误处理）
var trainDF: DataFrame = null
try {
trainDF = spark.sql("SELECT * FROM dwd.fact_machine_learning_data WHERE machine_record_state IS NOT NULL")
println(s"[INFO] 训练数据记录数: ${trainDF.count()}")
trainDF.show(5, truncate = false)
} catch {
case e: Exception =>
println(s"[ERROR] 读取训练数据失败: ${e.getMessage}")
spark.stop()
return
}
// 5. 读取测试数据（带错误处理）
var testDF: DataFrame = null
try {
testDF = spark.sql("SELECT * FROM dwd.fact_machine_learning_data_test")
println(s"[INFO] 测试数据记录数: ${testDF.count()}")
testDF.show(5, truncate = false)
} catch {
case e: Exception =>
println(s"[ERROR] 读取测试数据失败: ${e.getMessage}")
spark.stop()
return
}
// 6. 特征列定义
val featureCols = Array(
"machine_record_mainshaft_
speed",
"machine_record_mainshaft_multiplerate",
"machine_record_mainshaft_load",
"machine_record_feed_
speed",
"machine_record_feed_multiplerate",
"machine_record_pmc_code",
"machine_record_circle_time",
"machine_record_run_time",
"machine_record_effective_shaft",
"machine_record_amount_process",
"machine_record_use_memory",
"machine_record_free_memory",
"machine_record_amount_use_code",
"machine_record_amount_free_code"
)
// 7. 处理缺失值（填充0）
val filledTrainDF = trainDF.na.fill(0.0, featureCols)
val filledTestDF = testDF.na.fill(0.0, featureCols)
// 8. 特征向量组装器
val assembler = new VectorAssembler()
.setInputCols(featureCols)
.setOutputCol("features")
// 9. 配置随机森林
val rf = new RandomForestClassifier()
.setLabelCol("machine_record_state")
.setFeaturesCol("features")
.setNumTrees(50)
.setMaxDepth(10)
.setFeatureSubsetStrategy("auto")
.setSeed(42)
.setSubsamplingRate(0.8)
// 10. 管道和模型训练
val pipeline = new Pipeline().setStages(Array(assembler, rf))
val model = pipeline.fit(filledTrainDF)
println(s"[SUCCESS] 随机森林模型训练完成 (${model.stages(1).asInstanceOf[RandomForestClassificationModel].getNumTrees}棵树)")
// 11. 模型预测
val predictions = model.transform(filledTestDF)
.select(
col("machine_record_id"),
when(col("prediction") === 1.0, 1.0).otherwise(0.0).alias("machine_record_state")
)
println("[INFO] 预测结果示例：")
predictions.show(5, truncate = false)
// 12. MySQL写入配置（替换实际参数）
val jdbcUrl = "jdbc:mysql://xueai:3306/shtd_industry"
val connectionProperties = new
java.util.Properties()
connectionProperties.put("user", "root")
connectionProperties.put("password", "admin")
connectionProperties.put("driver", "com.mysql.jdbc.Driver")
// 13. 写入MySQL（带错误处理）
try {
predictions.write
.mode("overwrite")
.jdbc(jdbcUrl, "ml_result", connectionProperties)
println("[SUCCESS] 预测结果已写入MySQL表 ml_result")
} catch {
case e: Exception =>
println(s"[ERROR] MySQL写入失败: ${e.getMessage}")
}
// 14. 查询特定记录
val targetIds = Seq(1, 8, 20, 28, 36)
println(s"[INFO] 查询目标记录: ${targetIds.mkString(", ")}")
predictions.filter(col("machine_record_id").isin(targetIds: _*)).show()
spark.stop()
}
}
```
### 关键修复点解释：
1. **Hive配置修复**：
```scala
.config("hive.metastore.uris", "thrift://
your-hive-metastore-host:9083")
.config("spark.hadoop.hive.metastore.client.socket.timeout", "600")
```
添加正确的Hive元存储URI和超时设置
2. **显式添加Hive依赖**：
```scala
spark.sparkContext.addFile("/opt/module/hive-3.1.2/lib")
spark.sparkContext.addJar("/opt/module/hive-3.1.2/lib/*")
```
显式添加Hive库路径（替换为实际路径）
3. **健壮的错误处理**：
```scala
try {
trainDF = spark.sql("SELECT ...")
} catch {
case e: Exception => println(s"[ERROR] ...")
}
```
添加数据读取和写入的异常处理
4. **缺失值处理**：
```scala
val filledTrainDF = trainDF.na.fill(0.0, featureCols)
```
使用0填充特征列中的缺失值
5. **详细的日志输出**：
```scala
println(s"[INFO] 训练数据记录数: ${trainDF.count()}")
```
添加关键步骤的记录数和数据预览
### 部署前检查清单：
1. **验证Hive路径**：
```bash
ls /opt/module/hive-3.1.2/lib
```
确保路径存在且包含Hive JAR文件
2. **检查Hive元存储服务**：
```bash
netstat -tuln | grep 9083
```
确保元存储服务在`
your-hive-metastore-host`上运行
3. **测试MySQL连接**：
```bash
mysql -h xueai -u root -padmin -e "USE shtd_industry; SHOW TABLES;"
```
验证MySQL连接信息是否正确
4. **验证Hive表访问**：
```scala
spark.sql("SHOW TABLES IN dwd").show()
```
在Spark中验证是否能访问dwd数据库
### 运行说明：
1. 替换代码中的占位符：
- `
your-hive-metastore-host` → 实际Hive元存储主机名
- `/opt/module/hive-3.1.2/lib` → 实际Hive库路径
- MySQL连接参数（如需修改）
2. 确保Spark提交时包含Hive依赖：
```bash
spark-submit --jars /path/to/hive-jars/*.jar ...
```
3. 如果使用IDE运行，确保添加以下依赖：
```xml
<!-- Hive依赖 -->
<dependency>
<gro
upId>org.apache.hive</gro
upId>
<artifactId>hive-exec</artifactId>
<version>3.1.2</version>
</dependency>
<dependency>
<gro
upId>org.apache.hive</gro
upId>
<artifactId>hive-metastore</artifactId>
<version>3.1.2</version>
</dependency>
```
扫一扫
1572
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
