不会飞的小龙人的博客

生产服务应用可观测性在当下比较流行的方案，其中出现了大量高性能、开箱即用、易上手的的开源产品，大大丰富了在可观测性领域产品的多样性，本文讲述基于OTLP协议推送Java项目遥测数据（日志、指标、链路）到后端存储服务，整体架构如下：Opentelemetry +Quickwit + Jaeger + Prometheus + Grafana;

对于追求高性能、低成本的、易维护的日志存储管理方案来说，Loki和Quickwit服务对于中小企业来说，都是一个不错的选择之一；关于为什么使用Quickwit日志搜索引擎，而不是使用Grafana同平台的原生产品Loki，这一篇关于《Quickwit与Loki的基准测试》文章可做参考；但通过测试基准结果图来看，在检索数据方面，Quickwit明显比Loki性能更强，检索效率更高，可以在后续搭建日志管理平台时，做为产品选型的一个参考；

Prometheus是一个开源的系统监控和警报工具包，最初由 SoundCloud 开发并开源，现已成为云原生计算基金会（CNCF）的毕业项目。它广泛应用于监控基础设施、应用程序和服务的性能，并提供强大的数据查询和警报功能。许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发者和用户社区。它现在是一个独立的开源项目，社区版免费使用，独立于任何公司进行维护。Prometheus 通过定期从目标（如服务器、应用程序、服务）中拉取（pull）指标数据，并将其存储在本地时间序列数据库中。

Jaeger 是一个开源的分布式追踪系统，最初由 Uber 开发并开源，现已成为云原生计算基金会（CNCF）的项目之一，它已经有 9 年的成功历史。它主要用于监控和诊断微服务架构中的请求链路，帮助开发者和运维人员理解系统中各个服务的调用关系。Jaeger 通过为每个请求生成唯一的追踪 ID，记录请求在系统中的完整路径，包括经过的每个服务、调用的方法以及每个步骤的耗时。可以帮助分析系统中每个服务的性能，识别瓶颈和慢请求。通过可视化展示每个 Span 的耗时，开发人员可以快速定位问题所在。

Grafana是一个开源的监控和数据可视化平台，主要用于展示和分析时间序列数据。提供功能强大且灵活的数据可视化和监控工具，适用于多种场景，它广泛应用于DevOps、IT运维、物联网（IoT）和业务分析等领域。

Redpanda控制台，这是一个功能强大的Web UI，用于管理和监控您的Redpanda 集群。探索实际示例和场景，以帮助您了解如何利用 Redpanda 控制台实现不同的用例，包括数据可观察性、Redpanda 管理、访问控制和连接。代理监控：查看和管理代理的健康状况、状态和配置。主题管理：创建、配置和监控主题，包括分区、副本和消息计数的详细信息。消费者群体洞察：跟踪消费者群体的活动和表现，管理偏移并识别潜在的瓶颈。

PostgreSQL 是一个功能强大、开源的关系型数据库管理系统（RDBMS），以其可靠性、功能丰富性和可扩展性而闻名。它支持复杂的查询、事务完整性、并发控制以及多种数据类型和扩展功能，适用于各种规模的应用程序;适用传统的IT服务系统关系型数据库开发与应用，也适用于互联网行业高并发、大数据量存储等数据需求；

Quickwit创建分布式集群是比较容易的，我们可以在多个节点上部署Quickwit。如果有Kubernetes环境，官方有提供Helm图表来帮助你在Kubernetes 上部署Quickwit。本文主要讲解在Docker模式下，同过在多个Docker容器上部署Quickwit服务节点，快速实现分布式集群服务；注意：在集群模式下，你必须将索引数据存储在共享存储后端（例如 Amazon S3 或 MinIO、PostgreSQL）上。

Quickwit可以将数据从一个或多个源插入到索引中。创建索引后，可以使用CLI 命令quickwit source create添加源，支持的源有：file、kafka、kinesis、pulsar。本章讲解如何从Quickwit搜索引擎中创建Kafka源和获取Kafka源主题数据流，注意从Kafka流中读取数据流中的每条消息都必须包含一个JSON 对象，目前官方只支持数据源JSON格式数据导入。

MinIO 是一种对象存储解决方案，提供与Amazon Web Services S3兼容的API并支持所有核心S3功能。MinIO可部署在任何地方：公共云或私有云、裸机基础设施、编排环境和边缘基础设施。本章讲解通过Portainer平台快速安装Minio对象存储服务docker容器。

Quickwit 是首个以亚秒级延迟直接在云存储上执行复杂搜索和分析查询的引擎。它由 Rust 及其分离的计算和存储架构提供支持，旨在节省资源、易于操作并可扩展到 PB 级数据。Quickwit 非常适合日志管理、分布式跟踪以及通常不可变的数据（例如对话数据（电子邮件、文本、消息平台）和基于事件的分析）。Quickwit 专为直接从对象存储进行亚秒级搜索而设计，可实现真正分离的计算和存储。

Portainer 由两个元素组成：Portainer 服务器和 Portainer 代理。两者均作为轻量级容器在现有的容器化基础架构上运行。Portainer 代理应部署到集群中的每个节点，并配置为向 Portainer 服务器容器报告。单个 Portainer 服务器将接受来自任意数量的 Portainer 代理的连接，从而能够从一个集中式界面管理多个集群。为此，Portainer 服务器容器需要数据持久性。Portainer 代理是无状态的，数据会被发送回 Portainer 服务器容器。

使用Docker Compose，可以使用YAML配置文件（称为Compose文件）来配置应用程序的服务，然后使用Compose CLI从配置中创建并启动所有服务。Compose文件的默认路径是compose.yaml（首选）或compose.yml放置在工作目录中。Compose 还支持docker-compose.yaml和docker-compose.yml以向后兼容早期版本。如果两个文件都存在，Compose 会首选规范的compose.yaml。

Docker 是一个开源的容器化平台，用于开发、部署和运行应用程序。它通过将应用程序及其依赖项打包到一个轻量级的、可移植的容器中，实现了应用程序的快速部署和跨环境一致性。

Alloy 非常灵活，你可以轻松配置它以满足您在本地、仅限云端或两者混合的需求。Alloy 使用 120 多个组件从应用程序、数据库和 OpenTelemetry 收集器收集遥测数据，并且 Alloy还支持创建和共享自定义组件。Alloy支持使用多个生态系统进行收集，包括 OpenTelemetry 和 Prometheus。遥测数据可以推送至Alloy,或者Alloy可以从您的数据源中提取数据。

系统压测属于日常项目开发中的一个测试环节，使用测试工具模拟真实用户行为，在已知的软硬件资源下，通过批量压测对项目的服务性能进行检验，从而了解系统接口稳定性、每秒并发瓶颈、错误率多少、响应时间、QPS、流量大小等等;也是为了项目上线后，通过对未来可能达到的系统上限与并发问题，提前进行预测与检验；防止真实上线后未经压力测试，无足够的性能压测评估，当大量请求到来时，可能引起未知的系统崩溃；通过压测，可以撑握系统峰值能力与并发能力，并提前通过风险策略与技术干预，降低系统宕机风险；

Garnet 是 Microsoft Research 推出的一种新型远程缓存存储，其设计速度极快、可扩展且延迟低。Garnet 在单个节点内是线程可扩展的。它还支持分片集群执行、复制、检查点、故障转移和事务。它可以在主内存以及分层存储（例如 SSD 和 Azure 存储）上运行。Garnet支持丰富的API接口和强大的可扩展性模型。Garnet 使用 Redis 的 RESP 作为其主要线路协议。因此，人们可以将 Garnet 与 大多数编程语言中可用的。

可观测性是指通过从各种IT服务或组件中收集并积累监控数据、系统日志、运行指标等数据，来了解当前系统或应用程序整个架构服务的当前状态，通过可指标化或图形化监视、查看整个系统服务的任意节点、任意时间期间的运行结果，从而对系统服务的运行健康状况有全面的了解与把控；通过跟踪ID或在分布式系统（尤其是容器化应用程序或微服务架构）的所有节点中，追踪请求到响应的整个过程，并通过技术手段收集整个过程中的日志、指标、Trace等数据，形成一个完整的数据链路，从而为可观测性分析与展示提供基础数据。

loki 要使用 minio 存储日志块数据，必需先在 minio 创建网络对象存储桶 bucket，此 bucketName 必需与 yaml 配置文件中的 bucketName 一致，yaml 中配置的为 s3: http://miniotest:miniotest@192.168.16.128:9000/loki，loki 即为 minio 存储桶名称；然后，日志数据本身会被压缩并以块的形式存储在对象存储（例如 S3 或 GCS）中，甚至本地存储在文件系统中。（loki 配置 s3）

Loki 是日志记录存储与检索引擎。Promtail 做为日志采集器，从 flog 中抓取日志行，并通过网关将它们推送给 Loki。Grafana 提供 Loki 中捕获的日志行的可视化与搜索平台。

minio 集群部署被强制性安装在独占的磁盘分区，不能在 root 根盘符下建立目录，如在 /opt/data1 等等建目录文件夹代替，会抛上述错误提示。如果 MinIO 分布式设置在下面使用 NFS 卷，则不能保证 MinIO 将提供这些一致性保证，因为 NFS 不是严格一致的（如果您必须使用 NFS，我们建议您至少使用 NFSv4 而不是 NFSv3 以获得相对更好的结果）。注意，此时只是临时挂载，每次重启 VM 主机后，盘符又需要重新挂载，因此设置开机自动挂载。挂载成功，可通地 df -h 查看。

MinIO 与传统的存储和其他的对象存储不同的是：它一开始就针对性能要求更高的私有云标准进行软件架构设计。所以他采用了更易用的方式进行设计，它能实现对象存储所需要的全部功能，在性能上也更加强劲，它不会为了更多的业务功能而妥协，失去 MinIO 的易用性、高效性。）以获得最佳纠删码分布。于是重新删除所有节点的 /data2/minio 目录，新建 /data2/minio_db1、/data2/minio_db2、/data2/minio_db3、/data2/minio_db4，使用新的启动方法。

Vector是一个高性能的日志采集器，用于构建可观察性（数据）管道的轻量级超快速工具，Vector简单易用并且只自定义组合数据格式灵活的创建数据管道，可收集、转换所有日志、指标、跟踪路由等各种数据，Vector采用Rust编写的，提供了内存安全和效率保证。

OpenObserve是一个轻量级日志搜索与数据可观察性的软件方案;OpenObserve 是一个云原生可观察性平台，专为日志、指标、跟踪和分析而构建，旨在以 PB 级规模工作。