19、工业4.0中的大数据分析：全面解析与应用案例

工业4.0中的大数据分析：全面解析与应用案例

1. 数据格式与特性

数据有静态和流式两种形式，它们可能来自同一数据源，并且可以使用相同的分析和存储服务进行处理。随着技术进步，组织会产生结构化、半结构化和非结构化等多种数据形式：
- 结构化数据 ：排列有序，易于被机器学习算法解读，通常属于定量数据，但仅占可用数据的5%。
- 非结构化数据 ：无法用传统数据工具和方法处理和审查，属于定性数据。由于缺乏明确的数据模型，适合存储在非关系型（NoSQL）数据库中，也可原样存储在数据湖中。随着新分析技术的发展，非结构化数据的产生速度远快于结构化数据，数据类型对分析的阻碍也在减小。
- 半结构化数据 ：介于结构化和非结构化数据之间，比结构化数据复杂，但因缺乏明确的数据模型，比非结构化数据更易存储。

2. 大数据分析方法

典型的数据分析方法可分为四大类：
- 统计建模方法 ：利用统计理论进行推断，可用于揭示数据间的关系、进行数据归纳或预测未来数量，还可在数据预处理阶段用于特征或维度缩减。
- 数据挖掘方案 ：从海量数据集中提取模式。
- 机器学习方案 ：探索数据集并实现自动化。
- 数据可视化技术 ：将数据以图表、图形或地图等可视化形式展示，有助于提高大数据集的可读性。

3. SMART数据方法与大数据项目生命周期

B