14、亚马逊 KDF 与 KDA：数据处理与分析的利器

亚马逊 KDF 与 KDA：数据处理与分析的利器

在当今数字化的时代，数据处理和分析对于企业的发展至关重要。亚马逊提供了一系列强大的服务来满足这方面的需求，其中 Amazon Kinesis Data Firehose（KDF）和 Amazon Kinesis Data Analytics（KDA）是两个关键的服务。本文将深入介绍这两个服务的相关内容，包括 KDF 的使用注意事项、监控指标，以及 KDA 的功能和应用场景。

1. Amazon KDF 相关要点

1.1 复杂数据类型 JSON 键中的连字符问题

当传入的 JSON 记录中的结构体的 JSON 键包含连字符时，Apache Hive 会抛出错误。由于 KDF 使用 AWS Glue 来获取模式信息，而 AWS Glue 是与 Apache Hive 兼容的元存储，因此 KDF 在数据格式转换过程中遇到嵌套结构体键中的连字符时也会抛出错误。解决这个问题的方法是修改 AWS Glue 中的模式，去除连字符或将其转换为下划线，然后利用 OpenX JSON SerDe 的列名到 JSON 键的映射功能。

1.2 Apache Hive JSON SerDe

该 SerDe 是 Apache Hive 的一部分，支持除 OpenX JSON SerDe 所列格式之外的时间戳格式。它提供了一个选项，可以使用 Joda - Time 的 DateTimeFormat 格式字符串的模式语法指定时间戳格式（https://www.joda.org/joda - time/apidocs/org/joda/time/format/DateTimeFormat.html）。如果未指定格式，