分布式追踪:因果链的精确重建

上一篇我们拥抱了宽事件——为请求保留足够丰富的上下文,于是能在已采集和保留的数据上继续提问。但宽事件给你的,是一堆丰富的点:网关有一条、支付服务有一条、库存服务有一条。你能查到它们,可它们之间的因果关系——谁调用了谁、谁在等谁、慢到底卡在哪一跳——还需要被结构化地重建出来。

这就是分布式追踪(distributed tracing)要做的事。它把 04 结尾那个”手工用 trace_id 把日志串起来”的动作,升级成了一套系统化的、带父子结构的数据模型。它特别擅长回答分布式系统里一个昂贵的问题:这一次操作,慢在哪一段?有哪些证据能解释它为什么慢? 指标和日志也能给出线索,追踪把操作之间的关系直接变成了可查询的数据。

一、点与线:追踪在做什么

从一堆点到一棵树

设想一次结账请求,经过五个服务。宽事件让每个服务都为这次请求留下了一条丰富的记录——五个点。但现在你想知道:这五跳,是什么顺序、什么嵌套关系? 是网关串行调了订单、订单又串行调了库存和支付,还是库存和支付是并行的?那个 1.8 秒的总耗时,是哪一跳吃掉的?

光有五个点回答不了这些——你需要点之间的线,而且是带方向、带嵌套的线。在简单的同步调用里,把这些线连起来,就是一棵树:入口是树根,下游操作是分支。遇到队列、批处理和多个输入共同触发一个操作,还需要 links 表达关联;实际关系未必能塞进单一父子树。

追踪的定义

收紧成定义:一次追踪(trace),是一组共享 trace ID 的操作记录(span),用来描述一次请求或工作流的执行过程。 Span 可以有父子关系,也能用 links 关联其他 span,甚至跨 trace 关联。

关键词是”显式关系”。追踪记录了插桩认定的调用关系,但是否完整,取决于插桩覆盖、上下文传播、采样与传输。看见一棵漂亮的树,不等于整个业务过程都已被看见,也不等于根因已经被证明。OpenTelemetry:Traces

它回答”为什么慢”

几类信号的视角可以重叠,但通常各有更顺手的切入点:

  • 指标回答”多少”——P99 是 1.8 秒。
  • 日志回答”发生了什么”——支付服务报了一条 declined。
  • 追踪回答”为什么慢”——这 1.8 秒里,1.2 秒花在库存服务等一把数据库锁上,支付只占了 80 毫秒。

按依赖和操作拆分的指标、带关联字段的日志,同样可能定位慢点。追踪的优势是:不用让人每次从头拼接一次请求的来龙去脉,把对齐时间、串联操作的重复劳动,交给数据结构和工具。 这才是它为人的注意力争取到的空间。

二、数据模型:trace 与 span

追踪的全部能力,建立在两个数据结构上:trace 和 span。把它们解剖清楚,“因果链”就从一个比喻变成了具体的字段。

trace 描述旅程,span 描述操作

  • Trace:一组相关操作,由用于区分追踪的 trace_id 标识。前面那次结账,就是一个 trace。
  • Span:旅程中的一个操作——可以是一次跨服务调用,也可以是一次数据库查询、一次缓存读取,或服务内部的一个业务函数。一个 trace 由许多 span 组成。网关处理是一个 span,它调用订单服务是一个 span,订单服务查数据库又是一个 span……

同步父子关系下,trace 像整棵树,span 是节点;涉及异步和批处理时,再用 links 表达无法简化为单一父亲的关系。

span 的解剖

一个 span 长什么样,决定了追踪能告诉你什么。它的核心字段:

下面是便于阅读的 JSONC 概念表示,不是 OTLP 的线缆格式或可直接导入的配置。app.db.lock_wait_ms 是假设应用另行测得的自定义属性,自动插桩不会凭空给出它。

{
  "trace_id": "4bf92f3577b34da6a3ce929d0e0e4736", // 32 位十六进制
  "span_id": "00f067aa0ba902b7",                  // 16 位十六进制
  "parent_span_id": "b7ad6b7169203331",
  "name": "inventory.reserve",
  "resource": { "service.name": "inventory-service" },
  "start_time": "2026-06-06T14:32:07.412Z",
  "duration_ms": 1240,
  "status": "OK",
  "attributes": {
    "app.db.lock_wait_ms": 1190,
    "app.user_tier": "premium"
  },
  "links": []
}

三个字段撑起同步调用模型:trace_id 把 span 归入同一次追踪,span_id 标识当前操作,parent_span_id 记录直接父操作。持续时间帮助定位耗时,attributes 补上已采集的上下文。Span 可以像一条挂在执行关系上的宽事件,但属性该记录什么、是否涉及敏感数据,仍由我们设计。

Links 补的是树表达不好的关系。 一个消费者批量处理十条消息,可以用 links 关联多个生产者上下文,而不是任挑一条消息当作所有工作的唯一父亲。它让关系更诚实,也提醒我们别把所有异步工作强塞成一条同步请求。

父子关系重建调用树

父子关系完整时,可以按 parent_span_id 重建树,再结合起止时间显示成瀑布图。缺少父 span 时应显示缺口,而不是擅自把它当作真实入口。下面只示意层级和时长,字符宽度不代表精确的起止时间:

checkout (1840ms) ──────────────────────────────────────────
├─ order.create (1600ms) ───────────────────────────────
│  ├─ inventory.reserve (1240ms) ████████████████  ← 锁等待 1190ms,主要等待位置
│  └─ payment.charge (80ms) ▌
└─ notify.send (40ms) ▌

一眼就看出来:总耗时 1840ms,绝大部分被 inventory.reserve 的 1240ms 吃掉,而它的自定义属性进一步告诉你,这 1240ms 里 1190ms 是在等一把数据库行锁。这给出了很强的候选解释:库存操作的大部分时间与锁等待重合。再查数据库等待和锁持有者,才能继续追问谁造成了等待。父子 span 还可能重叠或并行,不能把它们的时长简单相加当作用户总延迟。

和日志的区别:结构

回头看 04:当时我们也用 trace_id 把五个服务的日志串了起来。那和追踪差在哪?差在结构。

用 trace_id 串日志,你得到的是同一次请求的一堆日志,按时间排成一列——你知道它们属于同一次请求,但不知道谁调用了谁、谁嵌套在谁里面、谁和谁是并行的。追踪把父子关系作为模型的一部分,再用时间信息分析嵌套和并行;结构化日志也可以记录类似关系,只是需要自己建立和维护约定。日志的关联是”它们有关”,追踪的关联是”它们如何有关”。 多出来的这层结构,正是追踪的重要价值。

三、关键机制:context propagation

追踪的数据模型很优雅,但它有一个脆弱的前提:那个 trace_id,以及”我的父是谁”这个信息,必须能跨越进程、跨越服务、跨越网络地传递下去。这件事叫 context propagation(上下文传播),它是追踪的命脉,也是追踪之所以难的根源。

命脉:让 trace context 跨进程活下去

设想网关收到请求,创建入口 span,调用订单服务时又创建 client span。订单服务怎么知道自己属于同一次 trace,以及远端父操作是哪一个?它不能靠两个请求刚好发生在相近时间来猜。

这些信息(合称 trace context)必须跟着请求一起,被传到订单服务那边去。如果传丢了,订单服务就会以为自己是一次全新请求的开始,生成一个新的 trace_id——于是这次结账的因果链,在网关和订单之间,断了。

怎么传:W3C Trace Context

传递的方式,是把 trace context 塞进请求的 header。为了让不同语言、不同框架、不同厂商的系统能互相识别,一个广泛采用的标准是 W3C Trace Context;其中的 traceparent HTTP header 长这样:

traceparent: 00-4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7-01
             版本      32 位十六进制 trace-id      16 位 parent-id  flags

这里的 parent-id 是发送这一请求时携带的父上下文标识,通常对应发送端 client span;接收端据此创建自己的 server span。版本 00 的 trace ID 和 parent ID 必须分别为 32、16 位小写十六进制,并且不能全为零。01 的最低位表示 sampled 标志,不保证每个组件最终都记录、成功导出和保留数据。W3C Trace Context

HTTP 用 header 作为载体;消息系统则可能放在消息属性里。载体不同,提取当前上下文、创建操作、向下游注入上下文的责任仍然存在。这个接力棒需要正确交接,因果链才得以延续。

断一次,就断一截

这套机制的脆弱之处,现在很清楚了:在约定使用 W3C Trace Context 的链路中,某一跳丢掉上下文且没有其他有效的关联机制,追踪关系就会在这里断开。

承接 04 的关联字段:字段只有被正确传播和记录,才能成为跨服务调查的线索。比如,某个服务用了一个没集成追踪的老 HTTP 客户端,调用下游时没带上 traceparent,于是下游所有 span 都脱离了这棵树,可能以新的 trace 继续,也可能因为另一套采样规则没有留下记录。你的瀑布图可能出现一段莫名其妙的空白,或者干脆缺了半棵树。

这就是为什么全链路插桩需要逐段验收:想完整重建某个工作流,就要检查沿途服务、协议、框架和异步边界的上下文传播。局部追踪仍然有用,只是不能把它当成全程。完整性像一个木桶,关键路径上的短板决定了哪些问题还得靠其他证据回答。

谁来传播

那么,谁来负责在每一跳传播 context?这是 仪器化负担这根标尺上的问题,有三种经常组合使用的能力:

  • 手写 SDK:开发者显式管理关键业务操作和上下文。它能表达框架不知道的业务语义,但需要维护;没有必要把每个框架调用都手写一遍。
  • 自动插桩(auto-instrumentation):由 agent、库或框架集成拦截受支持的调用,注入和提取上下文。它可以大幅降低重复劳动,覆盖范围仍取决于语言、框架、版本和异步用法。
  • 服务网格:代理可以生成网络请求 span,并转发追踪头;应用或框架仍需把引发某个出站请求的入站上下文传过去。代理同时看见入站和出站流量,不代表它知道应用内的因果关系。Istio 追踪 FAQ

传播的工作可以下沉,却没有凭空消失。平台铺好通路,框架处理常见协议,业务补上语义和异步边界,是 仪器化代价校准更真实的样子。下沉以后仍要测试,而不是看到一部分 span 就宣布全链路完成。

四、核心代价:采样

追踪的因果重建如此强大,但它有一笔躲不掉的账。这笔账怎么付,决定了整个追踪系统长什么样。

为什么经常需要采样

一个高 QPS 的系统,每秒几万次请求,每次请求几十个 span,每个 span 带一组属性。全量保留可能超过吞吐与存储预算。健康请求也有基线和对照价值,但未必需要把每一条都留同样久;低流量服务则可能负担得起全量保留。

于是经常要用采样(sampling):只保留一部分 trace,丢弃其余。问题立刻来了——保留哪一部分? 这个看似简单的问题,分裂出两条根本不同的技术路线,而它们的差异,决定了系统架构。

头部采样:一进来就决定

头部采样(head-based sampling):在请求刚进入系统时(网关那一跳)就掷骰子决定——“这条 trace 采还是不采”,然后把这个决定写进 traceparent 的 flags 位,一路传下去。下游配合 parent-based 等策略,才能让这个决定保持一致;跨信任边界还可能有自己的采样政策。

  • 优点:简单、低开销。不用为了等待最终结果而缓存整条 trace;SDK 通常仍有记录、批处理和发送队列。
  • 主要缺点:决定做得太早——在请求出错或变慢之前就决定了。如果你采样率是 1%,长期看,约 99% 的请求不会被选中,包括那些恰好出了错、最值得你看的请求。你最想要的那条 trace,很可能在它出错之前,就已经被源头的骰子判了”不采”。

尾部采样:等待有界窗口再决定

尾部采样(tail-based sampling):在采样层收集一段时间内到达的 span,再按所见结果决定保留。例如:错误优先留、慢请求优先留、正常请求按一定比例留作基线。

  • 优点:比在入口掷骰子更能针对排障价值分配保留预算。
  • 代价:送到采样层之前,span 仍需被生成、传输并暂存。同一 trace 通常需要汇聚到同一决策节点,伸缩与路由也因此变成设计问题。
  • 边界:采样层并不知道”所有 span 都到齐了”。等待窗口、容量淘汰、晚到 span、节点故障和上游丢弃都会留下缺口;入口已经丢掉的 trace,尾部无法复活。“优先保留错误”是一项有前提的政策,不是”所有错误一条不漏”的保证。

OTel Collector 的 tail sampling processor 就需要管理等待时间、在途 trace 容量和晚到数据。配置策略之外,还要观察实际接收、丢弃和决策情况。OTel 尾采样组件

采样策略是架构决策,不是配置项

这是这一章最想让你记住的:头部还是尾部,不是一个能随手改的配置开关,它是一个架构决策。

选头部,你的追踪系统可以很简单,但你接受”可能漏掉关键请求”。选尾部,你更有机会按结果留住关键 trace,但得承担有状态采样管道的复杂度,并验证实际覆盖率。这个选择牵动存储、网络、计算资源的分配方式——它是 人与资源校准在追踪系统里的一次具体落地:你愿意为”提高关键 trace 的保留概率”,付多少架构复杂度?头尾也可以组合,只是必须把两次选择造成的损失一起计入。

★ 故障剧场:被采样漏掉的那条 trace

用一个假设场景摸清这个代价。你的系统用 1% 头部采样,图个简单省钱。

某天,一个用户报告了一次诡异的结账失败。你打开追踪系统,按他的 user_id、按时间窗口搜索那条 trace——什么都没有。 因为这次请求在进入网关的那一刻,被 1% 的骰子判了”不采”,若全链路遵守这一决定,这条请求就不会形成可供查询的完整 trace。真实排障中,还应核对插桩、导出失败、查询范围和保留期,不能只凭”搜不到”断定是采样。

你陷入一个荒诞的处境:指标告诉你错误率确实有一个零点几的抬升(你知道有问题),但那条能告诉你”为什么”的 trace,被你自己的采样策略丢掉了。你为重建执行过程建起了整套工具,却恰恰没有那一次故障的数据。这就是头部随机采样对稀有事件的弱点。可以据此评估提高采样率、按入口类别调整策略、尾采样或关键错误日志;不必把所有系统都推向同一种复杂度。

五、工具与边界

工具:Jaeger / Tempo / Zipkin

落到具体工具。追踪后端主要解决”海量 span 怎么存、怎么按 trace_id 查回来”:

  • Zipkin:Twitter 开源的元老,模型简单,生态成熟。
  • Jaeger:CNCF 项目,Uber 出品,功能完整,支持多种存储后端(以选用版本的支持列表为准),是云原生追踪的主流选择。
  • Grafana Tempo:以对象存储作为重要的持久化底座,但已经不能概括成”只能拿 trace ID 查”。当前官方文档提供 TraceQL,可以按属性和 span 结构检索;也提供从 traces 生成指标的能力。列式格式、扫描量、查询窗口与部署规模共同决定成本,不能简单称作”牺牲所有搜索能力换极低成本”。Tempo TraceQL

这些后端的差异,是 存储汇率的不同报价。先拿自己的查询、保留期与数据量试算,再决定哪一种汇率划算。

边界一:聚合结果取决于采样位置与统计口径

追踪后端可以做聚合,也可以在管道中从 spans 生成 metrics;因此”追踪不能产生指标”并不成立。真正要问的是:计算发生在哪里,看到的是哪部分流量?

  • 等概率随机采样不必然带来系统偏差。已知纳入概率、机制正确时,可以估计总体数量;但估计有方差,稀有故障可能根本没被抽到。
  • 按错误、延迟选择的尾采样改变了样本分布,不能把保留下来的错误比例直接当成总体错误率。分位数更不能按一个比例简单放大。
  • 如果在采样之前,从完整到达该管道的 span 流生成指标,就避免了后续保留策略带来的选择偏差;上游未插桩、丢失或漏传的数据仍然不可见。

所以指标与追踪经常互补:聚合指标承担连续趋势和服务目标,追踪保留值得调查的具体过程。它们都不是天然无偏,统计口径、覆盖边界和丢失情况必须写清楚。OpenTelemetry 采样概念

边界二:只看见被仪器化的操作

追踪可以深入服务内部:给关键业务函数创建 internal span,就能记录它的起止与上下文。真正的边界不是”只能看到服务之间”,而是没有创建 span 的地方,不会自动长出细节。

给每一个函数都创建 span,也会带来开销、数据量和维护负担。某个操作慢了,但已有子 span 无法解释时,持续分析可以用统计采样覆盖更广的代码路径,帮助找到 CPU、分配或等待热点。一个提供操作上下文,一个提供资源归因;两者粒度可以重叠,不能画成一条绝对边界。

它服务于事后调查,也需要事前设计

追踪用显式操作关系帮助我们事后调查,愿意为请求身份、属性和上下文支付资源。它不专属于容器或微服务:单体内部的复杂工作流也可以受益。需要预先设计的是采集覆盖、语义、传播与保留策略;能够事后自由组合的是已经留下来的证据。这块砝码偏向”提问端”,但从来不是无限提问的通行证。

六、小结:坐标与去向

追踪在五维标尺上的坐标

用 那把尺子给追踪定位:

维度追踪的坐标
① 预先判断与事后探索事前铺设操作与上下文,事后调查已保留的执行关系
② 信息保留的粒度请求级细节与采样交换,成本取决于流量、span 数、属性和保留期
③ 信号的分工一次操作如何展开,结合其他证据解释慢点和失败
④ 注意力的阀门常用于告警后的诊断;聚合或派生信号也可用于告警
⑤ 仪器化的负担关键路径传播与业务语义维护,自动插桩能减负但需要验收

追踪为人的调查节省了拼接关系的时间,也要求我们维护一条可信的数据链路。它是否最贵、是否值得,不取决于信号名字,而取决于一次调查省下多少时间、为这些证据长期付了多少成本。

实践收束:先验收一条能解释的旅程

  • 适用问题:选一个关键用户操作,明确要区分的是依赖等待、应用处理还是失败传播。
  • 采集约定:统一服务名、环境、版本、时钟与传播格式;记录 HTTP、队列及异步边界,用脱敏属性补业务语义。
  • 失真检查:区分未插桩、断传播、头部丢弃、晚到 span、传输失败与已过保留期;不要把没有查到数据当成没有发生。
  • 验收证据:在隔离实验中保留已知请求,检查父子与 links、错误状态、并行关系和预期耗时;再验证采样策略对正常、错误和慢请求的实际处理。
  • 成本约束:测量每请求 span 数、平均体积、接收/导出损失和采样层内存;把业务函数插桩用在能减少调查时间的地方。

本文 ID、结构图和采样叙述用于解释模型,未提供或宣称验证过一套完整部署。

去向

追踪的两道边界,精确地指向接下来三篇:

那个贯穿全系列的问题:追踪把天平推向了哪边?保留执行关系,换取一次具体调查的解释力。 我们不必给所有函数都打点,也不能假定被采样掉的现场还能回来。下一篇进入持续分析,看看怎样用另一种资源交换,找到代码里的累计热点。

来源与适用时间

W3C Trace Context、OTel trace/采样模型、Istio 传播边界与 Tempo 查询能力,按 2026-10-12 的官方文档核对,来源见相关段落。文档中的组件能力不替代具体版本、协议与应用链路的运行验收。

返回 可观测性与运维工程 MOC | 上一篇 05-可观测性-从已知失败到任意提问 | 下一篇 07-持续分析-时间花在哪里的第四类信号