27、工业机器学习与人工智能：从数据处理到行业应用

工业机器学习与人工智能：从数据处理到行业应用

1. 数据处理与分析

1.1 数据转换与分析

在数据处理过程中，首先要进行数据转换。通过特定的IML脚本，将数据从数据仓库提取到数据湖中。以下是具体的操作步骤：
1. 设置处理文件路径：

import os
import pandas as pd

processName = os.path.join(pathDL, '300-Curated-Zone','Satellite','Hub','Time', 'Satellite-Hub-Time-00.csv.gz')

2. 读取数据：

DateDF = pd.read_csv(processName, header=0, encoding='utf-8', compression='gzip')

3. 查看数据基本信息：

print(DateDF.shape)
print(DateDF.describe())
print(DateDF.info())

执行上述代码后，可得到数据的基本信息，如数据的行数和列数、各字段的统计描述等。例如，这里的数据有5000行11列，部分字段的统计信息如下：
| 字段 | 计数 | 均值 | 标准差 | 最小值 |