13、AWS Kinesis Data Firehose 目标及数据格式转换深度解析

AWS Kinesis Data Firehose 目标及数据格式转换深度解析

在当今的数据驱动时代，高效的数据处理和存储至关重要。AWS Kinesis Data Firehose（KDF）作为一款强大的数据传输服务，为我们提供了多种数据目的地选项以及数据格式转换功能。本文将详细介绍 KDF 的不同目标以及数据格式转换的相关内容。

1. 跨账户数据交付至 AES 域

若你设置了多个 AWS 账户，希望在一个账户中使用 Amazon Elasticsearch Service（AES）进行集中搜索和数据分析，同时在其他多个账户中使用 KDF 进行数据摄取和交付，那么跨账户将记录交付至 AES 域会非常有益。要创建交付流并指定 AES 集群端点，可使用 AWS CLI 或 KDF API，因为 AWS 控制台仅允许从同一账户和同一区域的预填充下拉列表中选择域。

2. Splunk 目标

2.1 Splunk 简介

Splunk 是一款被众多大小企业广泛使用的软件平台，可用于从网站、机器、日志、设备、传感器和业务应用等各种数据源收集、搜索、分析和可视化大量数据。KDF 将 Splunk 作为目标，方便那些已将搜索和分析平台标准化为 Splunk 的企业，将来自所有这些数据源以及与 KDF 集成的许多 AWS 服务的数据发送到 Splunk 进行轻松分析。

2.2 先决条件

在使用 Splunk 作为目标之前，需要完成以下设置：
- 安装适用于 Amazon Kinesis Firehose 的 Splunk 附加组件。
- 设置并启用 HTTP 事件收集器（HEC）。