13、大数据机器学习实验研究与框架应用

大数据机器学习实验研究与框架应用

1. 实验研究概述

在大数据环境下进行机器学习任务，需通过特别选定的数据来衡量算法的准确性、效率、可解释性和稳定性，同时有效的数据预处理也至关重要，它能为算法的应用提供高质量的数据。

本次实验研究包含两个大数据案例，分别聚焦于大数据的真实性和变异性。第一个案例研究旨在确认交叉验证可用于衡量特定训练数据上算法的学习能力，以实现学习算法在预测建模中的有效应用；第二个案例研究则展示了如何通过检查特定算法性能的方差来衡量数据的变异性。

2. 学习能力的衡量

本案例研究使用从生物医学存储库获取的 10 个数据集，这些数据集的特征如下表所示：
| 名称 | 属性类型 | 属性数量 | 实例数量 | 类别数量 |
| — | — | — | — | — |
| ALL - AML | 连续 | 7130 | 72 | 2 |
| DLBCL - NIH | 连续 | 7400 | 160 | 2 |
| LungCancer | 连续 | 12534 | 32 | 2 |
| MLL_Leukemia | 连续 | 12583 | 72 | 3 |
| BCR - ABL | 连续 | 12559 | 327 | 2 |
| E2A - PBX1 | 连续 | 12559 | 327 | 2 |
| Hyperdip50 | 连续 | 12559 | 327 | 2 |
| MLL | 连续 | 12559 | 327 | 2 |
| T - ALL | 连续 | 12559 | 327 | 2 |
| TEL - A