26、高级分析与机器学习：构建异常检测模型

高级分析与机器学习：构建异常检测模型

1. 数据清理与存储

首先，我们需要清理事件 JSON 数据。具体操作是向 JSON 中添加转换后的值，并添加当前类型，同时去除一些不必要的值，如旧的字节字符串和类型元素。以下是清理后的最终 JSON 示例：

final json (event): <class 'dict'> {'id': 'ReadCurrent', 
'datetime': '2022-10-07T07:50:24Z', 'current': 250}

这个最终的 JSON 数据简洁易读，可用于后续操作。我们可以将格式化后的最终 JSON 存储到格式化的数据湖中，操作步骤如下：

### store transformed message into formatted data lake
bucket_name = "s3-datalake-iot-formatted"
file_name = str(minute) + ":" + str(second) + ".json" 
folder_path = "modbus/conveyer/" + str(eui) + "/current/" + 
str(year) + "/" + str(month) + "/" + str(day) + "/" + str(hour) 
+ "/" + file_name 
s3.put_object(Bucket=bucket_name, Key=folder_path, 
Body=json.dumps(ev