11、大规模文本分析：从族群预测到主题建模

大规模文本分析：从族群预测到主题建模

1. 族群预测与大数据工具应用

在处理大规模基因组数据集时，可借助一些大数据工具，如 Spark、H2O 和 ADAM。以 1000 基因组项目分析中的遗传变异数据为例，运用基于 Spark 的 K - means 算法，能在群体规模上对基因型变异进行聚类。

之后，使用基于 H2O 的深度学习（DL）算法和基于 Spark 的随机森林模型来预测地理族群。以下是计算测试数据分类准确率、精确率、召回率、F1 度量和误差的代码：

val accuracy = evaluator1.evaluate(predictions)
val precision = evaluator2.evaluate(predictions)
val recall = evaluator3.evaluate(predictions)
val f1 = evaluator4.evaluate(predictions)
println("Accuracy = " + accuracy);
println("Precision = " + precision)
println("Recall = " + recall)
println("F1 = " + f1)
println(s"Test Error = ${1 - accuracy}")

运行结果如下：

Accuracy = 0.7196470196470195
Precision = 0.7196470196470195
Recall = 0.7196470196470195
F1 = 0.