OpenTelemetry:三个信号的统一语言

前面八篇,我们把可观测性的主要能力铺开了:四类信号从不同角度提供证据,SLO 帮我们判断哪些影响值得行动。但有一个一直被绕过的、极其务实的问题:这些信号,到底是怎么从系统里被采集出来、送到后端去的?

这个问题听起来像管道工的活,不性感。但它藏着一个会让可观测性投资反复付费的陷阱——厂商锁定。你为追踪、为指标、为日志辛辛苦苦插满了一身的仪器化代码,结果发现这些代码全都绑在某一家后端的 SDK 上;有一天想换个更便宜或更好用的后端,才发现连应用都要跟着大改。

OpenTelemetry(OTel)就是来松开这道绑缚的。它为遥测的产生、处理和传输提供共同接口,尽量把业务插桩与后端选择分开。一次插桩因此更容易成为可复用的资产——但“可迁移”仍需要付出工程成本,不能写成永久免费的通行证。

一、不是看什么,是怎么采上来

信号都有了,数据怎么进来还没说

回看前八篇,我们一直在讨论“看什么”——指标看多少、追踪看调用关系、SLO 看目标。但所有这些的前提,是我们需要的数据已经在后端里了。谁创建了那条 span、那个指标、那条日志?又是谁把它们送到了 Jaeger、Prometheus、Loki?这条从产生到使用的链路,这一篇专门拆开看。

仪器化锁定的痛

设想一个处境。三年前,团队选了某商业可观测性平台,照着文档在每个服务里引入它的 SDK。几千处 vendor.tracer.startSpan()、vendor.metrics.count(),撒满了代码库。

今天,平台涨价了,或者出现了更适合的方案。你想换,却发现几千处插桩都认厂商 API;连字段、仪表盘和告警也依赖它的约定。更换成本高到让“换”在事实上难以发生。你选的不仅是一个后端,还形成了一整套依赖。

OTel 的野心

OTel 的核心主张可以写成一句话:

产生业务遥测的代码,不该到处夹带后端选择。

业务代码表达“这里发生了什么”,部署与采集层决定“如何采样、怎样发送、送到哪里”。把两件事尽量分开,才能保住调整流向的余地。OTel 架构总览中的 API 与 SDK 分离,正是这一思路的技术基础。

二、解耦的机制:四个角色与 OTLP

下面按 API、SDK、协议、Exporter 四个角色拆开看。这是帮助理解的分层,不代表所有实现都经过四个串联进程。

API:代码依赖的中立接口

最上面是 API——一组厂商中立的接口。业务插桩可以只面向这一层:

from opentelemetry import trace
tracer = trace.get_tracer("checkout")
 
with tracer.start_as_current_span("process_payment") as span:
    span.set_attribute("app.customer.tier", "premium")
    # ... 业务逻辑

这里没有 jaeger.startSpan 或某家厂商的名字。app.customer.tier 是本例自定义业务属性,不是 OTel 标准字段。代码片段只展示调用 API;要真正记录并导出,还需要初始化 SDK、span processor 和 exporter。

SDK:实际工作的实现

API 是接口,SDK 负责实现记录、采样、聚合与导出等行为。用什么 sampler、多久导出一次、导出到哪里,可以集中在初始化、自动插桩或部署配置中,而不是散落在业务逻辑里。

这并不意味着 SDK 永远不进入代码仓库;很多服务仍要在启动代码里配置它。真正要守住的是依赖边界清楚,调整不必触碰每一处业务插桩。

OTLP:共同的传输协议

OTLP(OpenTelemetry Protocol) 为 traces、metrics、logs 提供共同的传输机制,支持 gRPC 和 HTTP 等规定的传输形式。它减少了“每换一种信号就重新设计一条传输通道”的负担。OTLP 规范定义的是协议,不是要求所有既有采集都先变成 OTLP。

应用已有 Prometheus /metrics、文件日志或其他协议,仍可以保留;兼容的采集器负责接入。统一不是把原来所有东西一次性推倒。

Exporter:把数据交给下一站

Exporter 可以运行在 SDK 或 Collector 中,负责把内部遥测数据送到下一站:Collector、支持 OTLP 的后端,或需要格式转换的系统。它并不必然“先接收 OTLP 再翻译”。

如今 Jaeger 可以接收 OTLP,应使用 OTLP exporter;旧的 Collector jaeger exporter 已退出当前发行版,不再是新配置的默认路径。OTel 官方迁移说明明确了这条迁移方向。

OTLP vs Prometheus scrape

与 Prometheus 抓取并排看,两者很容易分清:

Prometheus scrapeOTLP
方向采集方主动拉取 /metrics发送方主动推向接收端
常见覆盖指标traces、metrics、logs
接入关键发现目标、访问端点、抓取状态找到接收端、配置协议、认证与发送策略

Prometheus 的 pull 模型对指标依然好用,OTel Collector 也可以配置 Prometheus receiver 来抓取。配了 OTLP receiver,不会自动抓取 /metrics;配了接收端,也不会让应用凭空开始发送。 方向、协议、端点和信号类型,四件事要逐一对上。

战略意义:让插桩更可迁移

OTel 降低的是“更换后端时重复支付同一笔插桩劳动”的概率和范围。只要原来的数据模型与目标后端兼容,许多迁移可以集中在采集层进行。

但查询语言、仪表盘、告警、权限、计费、历史数据与字段映射不会自动迁过去。连直方图格式、指标 temporality、资源属性转换,都可能影响迁移结果。后端选择多了一些自由,迁移仍然需要验证。 这才是可长期持有的资产,而不是一劳永逸的承诺。

三、Collector:可观测性的数据管道

把“数据怎么处理、发去哪”集中起来

即便应用使用中立 API,仍有一堆问题:要不要批量发送?哪些字段不能出网?要不要尾采样?是否同时发给新旧后端?

Collector 是可以独立部署的数据处理进程,让这些策略不必全部进入业务代码。它也可以靠近应用部署为 agent,再由 gateway 集中处理。集中的是管理方式,不一定是“一台机器承载全部数据”。

receive → process → export

下面是隔离实验网络里的 traces 管道示意:应用向 Collector 的 OTLP 端口发送,Collector 转给同网络中的 Tempo。示例有意只启用 traces;没有 metrics/logs pipeline。开放监听和明文传输仅用于这类受控实验,生产应按部署边界配置 TLS、认证、网络访问和资源限额。

receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317
      http:
        endpoint: 0.0.0.0:4318
 
processors:
  memory_limiter:
    check_interval: 1s
    limit_mib: 512
    spike_limit_mib: 128
  attributes/remove_email:
    actions:
      - key: user.email
        action: delete
  batch: {}
 
exporters:
  otlp/tempo:
    endpoint: tempo:4317
    tls:
      insecure: true
 
service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [memory_limiter, attributes/remove_email, batch]
      exporters: [otlp/tempo]

memory_limiter 放在前面以尽早施加背压,过滤和变换之后再批处理。这里的内存数值只是实验示例,要与进程限制、吞吐和缓冲需求一起调整。删除一个 span 属性也不等于全面脱敏:敏感内容还可能藏在事件、资源属性、日志正文或查询文本里。

组件必须接入 service.pipelines 才会启用。 声明一个 Prometheus exporter,不等于已经导出了指标;每种信号都要接通自己的 receiver、processor、exporter,并确认当前发行版包含这些组件。配置结构与启用规则见 Collector 官方配置文档,处理器顺序见 Collector processor 说明。

它能干的活:包括那个“有状态采样层”

06 讲过,尾采样需要先等一等 span,再决定保留哪些 trace。Collector 的 tail_sampling processor 是一种实现,上面的最小示例没有启用它。

要加入尾采样,就要额外管理等待时间、在途 trace 数、内存、迟到 span 和过载丢弃。多副本时,同一条 trace 的 span 还要按 trace ID 路由到同一个采样实例。它不能恢复上游头采样已经丢掉的数据,也不能保证所有错误 trace 永不遗漏。相关状态与路由约束见 Collector 扩容文档和 tail sampling processor。

Collector 作为治理点

Collector 能统一承载过滤、采样、变换和扇出策略,是成本治理很实用的抓手。不过,源头不应采集的敏感数据,最好在进入管道之前就避免生成;把它送到 Collector 再删,风险已经经过了前半段链路。

同时,要观测管道自身:输入与输出量、拒收、丢弃、队列积压、重试和后端可用性。后端断开时,是有界缓冲、背压还是丢弃?同一份数据发两家时,成本增加多少?负责让系统可见的管道,也有自己的盲区和故障方式。

四、统一语言:semantic conventions 与信号关联

不只统一管道,还统一词汇

假如三个团队分别用 http.method、httpMethod、verb 表示 HTTP 方法,数据即使流进一个后端,也很难直接合并分析。OTel 的 semantic conventions(语义约定) 为共同概念提供名称和解释。

例如当前 HTTP 约定使用 http.request.method、http.response.status_code;数据库查询文本使用 db.query.text,旧的 db.statement 不应作为新范例。字段是否必须、是否可采集、如何脱敏,要看具体约定;不是把完整 SQL 塞进去就算标准化。HTTP 语义约定与 数据库 span 约定是核对入口。

为什么词汇统一这么重要

共同词汇让跨语言、跨团队的查询更容易复用。但同一个字段名之外,还要对齐单位、聚合口径、属性位置、语义约定版本和后端映射。统一语言减少翻译工作,并不自动证明两份数据表达了同一件事。

因此,升级 SDK 或自动插桩时,要检查字段变化会不会让原来的查询与 SLO 悄悄失效。标准也在演进,版本与迁移说明是数据契约的一部分。

共享上下文:让信号有条件地关联

关联有不同粒度:service.name、环境、实例和时间帮助我们定位同一个服务;trace ID 和 span ID 帮助我们定位同一次请求。

在活跃请求上下文中生成的日志,可以记录 trace ID;脱离请求的后台日志未必有。指标是聚合数据,不能把每个 trace ID 都变成指标标签,否则时序基数会失控。持续分析能否精确关联 span,也取决于采集方式与运行时支持。

所以 OTel 不是“让四种信号的每一条数据都带上同一个 trace ID”。它提供共同上下文和约定,让支持关联的链路更容易建立;缺失的传播与采集仍要补齐。

Exemplar:从统计曲线走向一个具体样本

Exemplar(范例) 是聚合指标附带的少量观测样本,可以携带 trace ID、span ID 与其他上下文。你在 Grafana 看见延迟升高,点击一个可用的 Exemplar,就可能跳到那个样本对应的 trace。OTel 指标数据模型描述了这种关联。

这是一座很有价值的桥,但桥的另一头是一个被选中的样本:它不保证就是构成 P99 的那次请求,更不保证代表尖刺的根因。SDK 是否产生、格式是否保留、后端是否存储、trace 是否被采样和仍在保留期内、UI 是否配置跳转,缺一环都可能跳不过去。

指标帮你发现总体变化,样本给你一条调查线索,结论还要由更多证据支撑。

★ 故障剧场:迁移时,哪里真的不用改

设想系统已有 OTel 插桩,追踪经 Collector 发往 Jaeger。现在想试用 Tempo,先保留原路径,再并行导出。配置差异可以集中在这里:

# 配置片段:合并进既有配置,沿用已验证的 receiver 和 processor。
# 仅隔离实验网络使用明文 OTLP;生产需配置相应 TLS 与认证。
exporters:
  otlp/jaeger:
    endpoint: jaeger:4317
    tls: { insecure: true }
  otlp/tempo:
    endpoint: tempo:4317
    tls: { insecure: true }
 
service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [memory_limiter, attributes/remove_email, batch]
      exporters: [otlp/jaeger, otlp/tempo]

在接口兼容的前提下,应用插桩可以不动。这已经省掉了很大一笔协调成本。但迁移还没完成:要用已知 trace 核对两端的服务、span、属性和持续时间,检查采样与丢失,再迁移查询、仪表盘、权限和告警。双写期间还要观察吞吐与账单。

只改配置便能开始迁移,是 OTel 的价值;修改配置后仍要证明迁移正确,是工程的责任。 这段是设计示例,不是已执行的迁移记录。

五、实践与边界

落地形态:手动插桩 + 自动插桩

  • 手动插桩:代码面向 API 表达关键业务操作,SDK 在背后记录。精确、语义明确,但需要设计与维护。
  • 自动插桩:agent 或运行时集成覆盖支持的 HTTP、数据库和消息库,生成 span、传播上下文,降低逐处编写代码的负担。

自动插桩覆盖的是已支持的库与版本,并非所有框架,也不自动理解自研业务。实际部署往往需要更改启动参数、环境变量或容器配置,并可能重启。两者通常共同工作:自动插桩铺好通用调用,手动补上关键业务语义。

信号成熟度:看具体链路,不给整体开通行证

截至本篇核对时,OTel 已有 traces、metrics、logs 的规范与多语言实现,profiles 的官方概念页仍标记为 Alpha。不能据此笼统断言“traces/metrics 均可放心生产、logs 都不成熟”:规范、语言 SDK、插桩库、Collector 组件和后端支持是不同层面的成熟度。

接入时对照 语言 API 与 SDK 状态表、所需组件的支持情况与 profiles 状态,固定实际使用的版本再做验证。文档上存在一个信号,不等于你的语言和整条链路都已经支持它。

边界一:OTel 不是存储查询后端

OTel 的核心职责是产生、收集、处理和导出遥测,长期存储、查询与展示由后端承担。Collector 的缓冲与队列不等于一套供分析使用的历史数据库。

因此,“我们上了 OTel”不等于“我们已经能排障”。要能从用户问题走到可用证据,仍需正确的信号、可查询的后端、关联关系和实际使用它的人。

边界二:标准化没有替人决定采什么

OTel 能让字段名一致,却不能替你决定哪一步业务值得记录、哪些信息值得保留、哪类用户体验必须守护。管道越顺,越容易毫不费力地灌进大量没人使用的数据。 标准化之后,仍要回到 那架天平,检查每一笔遥测成本换来了什么判断能力。

实践收束:先验证一条完整路径

从一个可控请求开始,记录预期 service、span、属性和 trace ID,沿 SDK→Collector→后端逐段查到它。接着验证一次失败、一次上下文跨进程传播、一次采集或后端断开,并检查数据丢弃与业务开销。需要 metrics、logs 或 Exemplar 时逐项接通,不要把“端口可访问”当成“信号已可用”。

六、小结:坐标与去向

OTel 在五维标尺上的坐标

用 那把尺子给 OTel 定位:

维度OTel 的作用
① 预先判断与事后探索不替人选择问题,但让所需证据更容易被统一采集
② 信息保留的粒度提供采样、过滤与路由抓手,管道本身也消耗资源
③ 信号的分工用共同模型、资源属性与上下文帮助信号关联
④ 注意力的阀门间接减少集成负担,采集故障仍要有人响应
⑤ 仪器化的负担核心——减少厂商耦合,让已有插桩更可复用

持续分析讨论怎样获得代码层面的资源证据,OTel 讨论怎样减少采集链路里的重复劳动。那个贯穿全系列的问题——OTel 把天平推向了哪边?它让人少花一点力气翻译和搬运数据,多保留一点选择工具与改变策略的余地。

去向

还有一个问题:除了把插桩标准化,能不能让基础设施替应用产出更多通用信号?

技术核对:2026-10-12,依据文中官方资料复核;本篇配置未运行,协议兼容、组件可用性与生产负载下的行为,需在固定版本后另行验证。

返回 可观测性与运维工程 MOC | 上一篇 08-SLO-把可靠性变成数学 | 下一篇 10-云原生可观测性-零侵入是如何做到的