26、分布式追踪：从跨度（Spans）到新抽象的探索

分布式追踪：从跨度（Spans）到新抽象的探索

1. 追踪处理管道的关键功能

在分布式系统中，追踪数据常常大量涌入，系统必须能够跟上数据记录的流入速率。无论追踪数据如何存储，快速找到符合特定标准的追踪信息都极为有用。以下是处理管道可以实现的一些关键功能：
- 构建索引 ：为了快速查找符合特定标准的追踪信息，可以在处理管道中构建索引。由于用户可能希望查找匹配大量属性的追踪信息，因此建议尽可能对更多属性进行索引。即使实时聚合分析不可行，发现和检查具有特定特征的单个追踪信息对于调试也非常有价值。
- 预计算聚合 ：例如计算追踪中的服务数量。通过在处理管道中预计算这些聚合，可以支持几乎实时的交互式分析。
- 提取异构数据信息 ：处理管道不仅可以提取追踪的一般属性（如服务数量），还可以对标签进行特定领域的处理。

1.1 自定义函数的应用与挑战

自定义函数在处理管道中类似于 SQL 查询工具的用户定义函数（UDFs），它们强大且灵活，但也带来了一些需要解决的棘手问题：
- 表达与安全性 ：用户如何表达 UDFs，以及如何确保它们的安全性（不会使系统崩溃或陷入无限循环）。
- 资源使用 ：如何防止 UDFs 使用过多的资源（如 CPU 或内存），或者执行时间过长。
- 同步更新 ：如何确保 UDFs 与源代码中的检测工具的更改保持同步。如果标签被更改或删除，谁负责更新处理管道中的代码。