12、数据平台组件搭建与配置指南

数据平台组件搭建与配置指南

1. Elasticsearch 数据类型猜测与映射查看

当没有模板匹配字段或索引时，Elasticsearch 会尽力猜测数据类型。可以使用以下 curl 命令查看新索引生成的默认映射：

$ curl http://localhost:9200/apk8s-messages-*/_mapping

在配置的 Elasticsearch 7.1.1 集群中， user 字段被分配为 long 数值类型， msg 字段被索引为文本类型。

2. Logstash 的作用

Logstash 在处理高速大量数据的平台中起着至关重要的作用，它能够缓冲并管理来自 Elasticsearch 索引操作的反向压力。即使在小型集群中，Logstash 也可以扩展到十几个或更多节点，每个节点将数据消费并缓冲到单个 Elasticsearch 节点中。

3. Kibana 的安装与配置

Kibana 是 ELK 栈的前端组件，能与 Elasticsearch 无缝集成，是调试、开发和可视化 Elasticsearch 数据的优秀工具。不过，Kibana 只能与 Elasticsearch 配合使用。以下是 Kibana 的安装和配置步骤：

3.1 创建目录和服务文件

创建目录 cluster-apk8s-dev4/003-data/034-