OpenTelemetry系列 （三）｜ 神秘的采集器 - Opentelemetry Collector

最新推荐文章于 2025-07-20 13:33:58 发布
最新推荐文章于 2025-07-20 13:33:58 发布
阅读量4.1k 收藏 9
点赞数 3
CC 4.0 BY-SA版权
文章标签： 服务器 java 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BASK2311/article/details/128381315

前言

上个篇章中我们主要介绍了OpenTelemetry的客户端的一些数据生成方式，但是客户端的数据最终还是要发送到服务端来进行统一的采集整合，这样才能看到完整的调用链，metrics等信息。因此在这个篇章中会主要介绍服务端的采集能力。

客户端数据上报

客户端会根据一定的规则生成调用链，metrics，logs等信息，然后就会将其推送到服务器远端。一般来说OpenTelemetry的服务端客户端传递数据的请求协议标准是Http和Grpc协议，在各语言的sdk以及服务端实现中都应该包含这两个数据协议的的实现。

按照常理来说调用链等数据的数据量极大，因此在客户端就会有一些类似于Batch的操作选项，此选项会将多个Span信息整合到一起一并发送，以减小网络端的损耗。

客户端的这种数据上报我们会统称为export，同时，实现这些上报的组件我们统一称作exporters。exporters会包含不同种的数据协议和格式，默认的格式为OTLP。

OTLP

OTLP是指OpenTelemetry Protocol，即OpenTelemetry数据协议。OTLP规范规定了客户端和服务采集端之间的遥测数据的编码,传输和投送。

OTLP在实现上分为OTLP/gRPC和OTLP/HTTP。

OTLP/HTTP

OTLP/HTTP在数据传输的时候支持两种模式：二进制和json

二进制使用proto3编码标准，且必须在请求头中标注Content-Type: application/x-protobuf

JSON格式使用proto3标准定义的JSON Mapping来处理Protobuf和JSON之间的映射关系。

OTLP/gRPC

普通请求：在客户端和服务端建立连接后，客户端可以持续不断的发送请求到服务端，服务端会一一回应。 并发请求：客户端可以在服务端未回应前发送下一个请求，以此提高并发量。

Collector

Collector简介

OpenTelemetry提供了开源的Collector来进行客户端数据的上报采集，处理和输出。otel collector是一个支持了多种协议，多种数据源的“万能”采集器。可以说是你能想到的很多数据源他都能够直接支持。

otel collector使用golang实现，到文章目前编写的时候已经发布了1.0.0的rc版本。Collector区分为了两个项目opentelem

最低0.47元/天 解锁文章

200万优质内容无限畅学
【云原生】springboot 整合 OpenTelemetry
congge
01-14 1万+
springboot 整合 OpenTelemetry
15、OpenTelemetry Collector 全面解析：部署、组件与监控
plum99的博客
07-14 23
本文全面解析了OpenTelemetry Collector的部署模式、核心组件及其配置方法，并介绍了如何通过监控指标优化其运行。内容涵盖Agent模式和Gateway模式的对比、接收器、处理器、导出器和扩展的功能与配置示例，以及在Docker、Kubernetes和不同操作系统上的部署操作步骤，帮助读者更好地管理和处理遥测数据，提升应用程序的性能与稳定性。
opentelemetry-collector-contrib:OpenTelemetry收集器的Contrib存储库
04-06
•• ••• •• OpenTelemetry收集器贡献 这是OpenTelemetry Collector贡献的存储库，它不属于Collector的。 通常，这些贡献是特定于供应商的接收者/出口者和/或组件，仅对相对较少的用户有用。 请注意，此存储库及其发行版是核心存储库的超集。 贡献 参见CONTRIBUTING.md 。 分类器（ @ open-telemetry / collector-contrib-triagers ） 许安德（ Andrew Hsu ） 史蒂夫·弗兰德斯（ Steve Flanders ） 批准人（ @ open-telemetry / collector-contrib-approvers ）： 阿努拉格·阿格劳瓦尔（Anurag Agrawal ） 丹尼尔·贾格洛夫斯基（ Daniel Jaglowski ） 德米特里·阿诺申（ Dmi
OpenTelemetry系列 - 第3篇 OpenTelemetry Collector
罗小爬的技术宝书
12-02 4472
是一个与供应商无关的代理，可以接收、处理和导出遥测数据。它支持接收多种格式的遥测数据(例如，OTLP、Jaeger、Prometheus，以及许多商业/专有工具)并将数据发送到一个或多个后端它还支持在导出遥测数据之前对其进行处理和过滤Receivers 接收器- 接收器可以是基于推或拉的，它是数据进入收集器的方式。接收器可以支持一个或多个数据源。Processors 处理器- 处理器在接收和导出之间的数据上运行。处理器是可选的，但有些是推荐的。Exporters 导出器。
OpenTelemetry Collector 编码规范详解
gitblog_01158的博客
06-08 349
OpenTelemetry Collector 编码规范详解 项目背景与编码原则 OpenTelemetry Collector 作为一款接近生产就绪级别的可观测性数据收集器，对代码质量有着严格要求。本文将从技术实现角度，深入解析该项目的编码规范体系，帮助开发者理解如何编写符合项目标准的代码。 命名规范体系 方法命名规则 构造方法： New 前缀：用于返回使用零值或传入参数初始化的对象 f...
OpenTelemetry Collector简介
u_geek的博客
12-20 3448
OpenTelemetry Collector 旨在提供一个与设备无关的采集器，用于接受，处理和输出观测数据。此外，使用OpenTelemetry Collector也避免了我们运行、维护多个agents/collector。
opentelemetry-collector：OpenTelemetry收集器
02-10
•• ••••• OpenTelemetry收集器 OpenTelemetry Collector在如何接收，处理和导出遥测数据方面提供了与供应商无关的实现。 另外，它消除了运行，操作和维护多个代理/收集器的需要，以便支持发送到多个开源或商业后端的开源遥测数据格式（例如Jaeger，Prometheus等）。 目标： 可用：合理的默认配置，支持流行的协议，可以运行并立即使用。 性能：在不同的负载和配置下具有很高的稳定性和性能。 可观察的：可观察服务的示例。 可扩展：可定制，无需接触核心代码。 统一：单一代码库，可部署为代理或收集器，并支持跟踪，指标和日志。 贡献 参见 。 分类器（ ）： ，Lightstep 批准人（ ）： （ ） 红帽的 维护者（ ）： （ ） 了解有关角色的更多。 感谢所有已经做出贡献的人们！
OpenTelemetryCollector-数据集散中心
qq_35427785的博客
02-07 4062
声明：本文撰写日期为<2021年2月>，截至目前，该OpenTelemetry尚未发布第一个Release版本，仍然处于快速迭代状态。 一、OpenTelemetryCollector 简介 OpenTelemetryCollector源码下载地址：open-telemetry-collector 在我的博客《OpenTelemetry简介-结束分布式追踪的江湖之乱》中简单介绍了OpenTelemetry的应用架构，在下图中，负责中间数据转换的部分，就是OpenTelemetryCo.
基于OpenTelemetry实现可观测性-Part 4 Collector
apl359的博客
03-27 797
译注：这是一个系列，共分成6部分，这是第4部分。翻译自：https://trstringer.com/otel-part4-collector/在上一篇博文中，我们讨论了如何使用 SDK 和追踪器提供者从进程获取遥测数据。存在很多不同类型的导出器，但是典型的导出目的地是OpenTelemetry Collector[1]。这篇文章将深入探讨收集器以及如何使用它。OTel Collector 与其它...
OpenTelemetry 与 Prometheus - 架构和指标的差异
u012516914的专栏
01-08 2825
在不断发展的软件开发世界中，可观察性使软件工程师能够实时洞察复杂的系统。OpenTelemetry 和 Prometheus 是著名的云原生计算基金会 (CNCF) 毕业项目，但用于监控和调试应用程序的可观察性工具不同。本文探讨了 OpenTelemetry 和 Prometheus 的特性、优点、缺点和主要区别。软件开发人员必须了解独特的可交付成果和用例，才能决定哪种框架最适合他们的需求。什么是...
SPRING BOOT上的OPENTELEMETRY追踪：JAVA AGENT VS MICROMETER TRACING
2301_78976656的博客
08-07 1445
观察 API 仍然是 Micrometer Tracing 的一个重要优势，因为它使用单个 API 来处理指标和跟踪。当我从 v1 升级到 v2 时，我有点失望，因为新代理不了解 Spring：默认情况下不会跟踪 Spring 注释的函数。Micrometer Tracing 为最流行的跟踪库提供了一个简单的门面，让您可以在没有供应商锁定的情况下对基于 JVM 的应用程序代码进行检测。对于每种设置，我将检查两个阶段：启用 OpenTelemetry 的主要阶段，以及创建额外内部跨度的自定义阶段。
【亲测免费】 OpenTelemetry Collector 安装和配置指南
gitblog_09536的博客
09-13 1456
OpenTelemetry Collector 安装和配置指南 1. 项目基础介绍和主要的编程语言 项目基础介绍 OpenTelemetry Collector 是一个开源的、可扩展的代理，用于接收、处理和导出遥测数据（如 traces、metrics 和 logs）。它旨在作为一个中间层，帮助用户收集和导出数据到不同的后端服务，如 Prometheus、Jaeger、Elasticsearch ...
入门OpenTelemetry——收集器配置详解
qq_33816243的博客
05-22 1057
OpenTelemetry 的 Collector 组件是实现观测数据（Trace、Metrics、Logs）收集、处理和导出的一站式服务。它的配置主要分为以下。
神奇的数据收集器 - OpenTelemetry Collector Go
BetiFunction的博客
09-17 362
OpenTelemetry Collector Go是OpenTelemetry的Go语言实现版，它提供了一种简单而灵活的方式来收集、转换和导出观测数据。OpenTelemetry Collector Go是OpenTelemetry的Go语言实现版，它提供了一种简单而灵活的方式来收集、转轻松地收集和处理观测数据。OpenTelemetry Collector Go是OpenTelemetry的Go语言实现版，它提供了一种简单而灵活的方式轻松地收集和处理观测数据。以下是一个基轻松地收集和处理观测数据。
探索OpenTelemetry Collector：开源监控的未来
gitblog_00464的博客
09-03 365
探索OpenTelemetry Collector：开源监控的未来 项目介绍 OpenTelemetry Collector是一个开源项目，旨在提供一个与供应商无关的实现，用于接收、处理和导出遥测数据。它消除了运行、操作和维护多个代理/收集器的需要，支持从流行的开源遥测数据格式（如Jaeger、Prometheus等）到多个开源或商业后端的转换。 项目技术分析 OpenTelemetry Coll...
OpenTelemetry系列 （一）｜ OpenTelemetry的前世今生
m0_57042151的博客
12-21 530
这是我的Opentelemetry系列文章的第一篇，主要是介绍一些分布式追踪的往事和Opentelemetry诞生的历史。
OpenTelemetry系列 - 第2篇 Java端接入OpenTelemetry
罗小爬的技术宝书
12-02 7562
目录一、架构说明二、方式1 - 自动化2.1 opentelemetry-javaagent.jar（Java8+ ）2.2 使用opentelemetry-javaagent.jar完成自动注入2.3 配置opentelemetry-javaagent.jar2.4 使用注解（@WithSpan, @SpanAttribute）2.5.1 代码集成@WithSpan, @SpanAttribute2.5.2 禁用已标注@WithSpan的方法的自动注入：2.5.3 不修改代码的情况下启用@WithSpan
OpenTelemetry系列 （五）｜ OpenTelemetry Java Instrumentation二次开发指南
BASK2312的博客
01-03 2283
需要注意的是在早期版本中可以自己完全创建项目然后以外部插件的形式来注入，但是在后续版本中这种方式被废弃，因此后续的开发都是在clone下来的OJI项目中进行开发。虽然OJI已经提供了非常多的类库，许许多多知名的开源项目都在其中，但是总是可能会有一些需要自己来处理的内容，比如一些商用库，比如一些公司自制的二方或者三方依赖。这些都不可能找到现成的实现，那么就只能自己来了！OJI提供了完善的扩展能力，大家可以自行定义自己需要的。在OJI。
17、OpenTelemetry Collector 深入解析
最新发布
river的博客
07-20 6
本文深入解析了OpenTelemetry Collector的核心功能及其组件，包括接收器、处理器和导出器的作用与配置方法。详细介绍了Collector的工作流程和性能优化建议，帮助用户高效处理和导出各种遥测数据，满足不同场景下的监控和分析需求。
opentelemetry collector springboot
03-08
### 集成OpenTelemetry Collector与Spring Boot 对于希望在其应用程序中实施分布式追踪和度量收集的开发者而言，在Spring Boot项目里集成OpenTelemetry Collector是一个有效的方法。这不仅能够帮助监控应用性能，还能提供深入洞察服务间的交互情况。 #### 安装依赖项 要在Spring Boot项目中启用对OpenTelemetry的支持，需先添加必要的库文件到项目的`pom.xml`或构建配置中。如果采用Maven作为包管理工具，则应加入如下所示的内容： ```xml <dependency> <groupId>io.opentelemetry</groupId> <artifactId>opentelemetry-exporter-otlp</artifactId> <version>${opentelemetry.version}</version> </dependency> <!-- Spring Boot Starter for OpenTelemetry --> <dependency> <groupId>io.opentelemetry.instrumentation</groupId> <artifactId>opentelemetry-spring-boot-starter</artifactId> <version>${opentelemetry.javaagent.version}</version> </dependency> ``` 上述代码片段展示了如何引入用于向OTLP协议端点发送数据以及启动器本身的依赖关系[^1]。 #### 启动Java Agent 为了让OpenTelemetry自动采集来自Spring Boot应用的数据，推荐的方式是在JVM参数中指定javaagent路径并设置环境变量来指向Collector实例的位置。例如： ```bash -javaagent:/path/to/opentelemetry-javaagent.jar \ -Dotel.resource.attributes=service.name=my-service-name \ -Dotel.exporter.otlp.endpoint=http://localhost:4317 ``` 这段命令行选项说明了怎样通过配置资源属性和服务名称，并指定了目标Collector接收地址来进行初始化操作[^2]。 #### 自定义跟踪行为 除了依靠默认机制外，还可以自定义某些方面以满足特定需求。比如调整采样率、过滤掉不必要的跨度(span)，或是创建新的上下文传播格式等。这些都可以借助于提供的API接口完成定制化开发工作。 ```java import io.opentelemetry.api.trace.Span; import io.opentelemetry.context.Context; public class CustomTraceExample { public void performCustomizedOperation() { Span span = io.opentelemetry.api.trace.Tracer.currentTracer().spanBuilder("custom-operation").startSpan(); try(Context ctx = span.makeCurrent()) { // 执行业务逻辑... span.setAttribute("key", "value"); } finally { span.end(); } } } ``` 此段Java代码示范了一个简单场景下的手动创建跨度过程，其中包含了记录键值对信息给定范围内的活动描述。 #### 发布事件至外部系统 当所有准备工作完成后，就可以让应用程序按照既定策略将产生的遥测数据传输给远端服务器处理了。通常情况下，默认会使用gRPC方式连接到本地运行着的Collector节点；当然也可以更改为目标云服务商所提供的公共入口地址之一。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值