26、构建传感器数据分析应用

构建传感器数据分析应用

1. 数据处理与准备

1.1 使用 mutate 过滤器插件处理数据

在数据处理过程中，我们需要对 JSON 数据进行一系列操作，以满足 Elasticsearch 存储和分析的需求。具体操作如下：
1. 移动查找字段 ： lookupResult 是一个仅包含一个元素的数组，我们要将该数组元素下的所有字段直接移到 JSON 负载下。这可以通过 rename 操作逐个字段完成。例如，将 [lookupResult][0][sensorType] 重命名为 sensorType ，代码如下：

rename => {"[lookupResult][0][sensorType]" => "sensorType"}

我们对 SQL 查询返回的所有查找字段都执行此操作。
2. 合并经纬度字段 ：我们之前定义索引模板映射时，将 location 字段定义为 geo_point 类型，该类型接受以逗号分隔的经纬度字符串作为值。可以使用 add_field 操作来构建 location 字段，代码如下：

add_field => {
  "location" =>
"%{[lookupResult][0][latitude]},%