96、大数据应用中常见机器学习算法的测试与癌症检测的机器学习进展

大数据应用中常见机器学习算法的测试与癌症检测的机器学习进展

在当今社会，信息的广泛使用以及大数据（BD）技术的应用，成为了影响社会发展的重要因素。由于数据量巨大，手动将其转化为可用信息变得不可行，因此机器学习（ML）算法在大数据技术生态系统中占据了重要地位。同时，在癌症检测领域，机器学习也展现出了巨大的潜力。

大数据概述

大数据（BD）通常用于描述那些数据量过大或过于复杂，传统工具和方法难以处理的情况，因此需要专门为此设计的高度复杂的工具。虽然“大数据”一词被广泛使用，但它并没有一个普遍适用的解释，不同的定义主要围绕数据的特征展开。

• 大数据的特征
  • Volume（规模） ：指数据的数量以及需要处理的记录数量。随着时间的推移，相关的规模指标从千兆字节或太字节变为拍字节甚至泽字节。
  • Velocity（速度） ：一方面指系统需要处理的传入数据的速度，另一方面指满足处理请求所需的速度。
  • Variety（多样性） ：描述了单个BD应用中可能存在的不同数据源、结构（结构化/半结构化/非结构化）、类型和符号约定的多样性。
  • Variability（可变性） ：表示上述维度的变化。由于现实世界不断发展，哪些数据在何种数量上被认为是相关的也会发生变化。
  • Veracity（真实性） ：描述不同数据源的可信度，这在依赖数据质量