分布式追踪:因果链的精确重建
上一篇我们拥抱了宽事件——为请求保留足够丰富的上下文,于是能在已采集和保留的数据上继续提问。但宽事件给你的,是一堆丰富的点:网关有一条、支付服务有一条、库存服务有一条。你能查到它们,可它们之间的因果关系——谁调用了谁、谁在等谁、慢到底卡在哪一跳——还需要被结构化地重建出来。
这就是分布式追踪(distributed tracing)要做的事。它把 04 结尾那个”手工用 trace_id 把日志串起来”的动作,升级成了一套系统化的、带父子结构的数据模型。它特别擅长回答分布式系统里一个昂贵的问题:这一次操作,慢在哪一段?有哪些证据能解释它为什么慢? 指标和日志也能给出线索,追踪把操作之间的关系直接变成了可查询的数据。
一、点与线:追踪在做什么
从一堆点到一棵树
设想一次结账请求,经过五个服务。宽事件让每个服务都为这次请求留下了一条丰富的记录——五个点。但现在你想知道:这五跳,是什么顺序、什么嵌套关系? 是网关串行调了订单、订单又串行调了库存和支付,还是库存和支付是并行的?那个 1.8 秒的总耗时,是哪一跳吃掉的?
光有五个点回答不了这些——你需要点之间的线,而且是带方向、带嵌套的线。在简单的同步调用里,把这些线连起来,就是一棵树:入口是树根,下游操作是分支。遇到队列、批处理和多个输入共同触发一个操作,还需要 links 表达关联;实际关系未必能塞进单一父子树。
追踪的定义
收紧成定义:一次追踪(trace),是一组共享 trace ID 的操作记录(span),用来描述一次请求或工作流的执行过程。 Span 可以有父子关系,也能用 links 关联其他 span,甚至跨 trace 关联。
关键词是”显式关系”。追踪记录了插桩认定的调用关系,但是否完整,取决于插桩覆盖、上下文传播、采样与传输。看见一棵漂亮的树,不等于整个业务过程都已被看见,也不等于根因已经被证明。OpenTelemetry:Traces
它回答”为什么慢”
几类信号的视角可以重叠,但通常各有更顺手的切入点:
- 指标回答”多少”——P99 是 1.8 秒。
- 日志回答”发生了什么”——支付服务报了一条
declined。 - 追踪回答”为什么慢”——这 1.8 秒里,1.2 秒花在库存服务等一把数据库锁上,支付只占了 80 毫秒。
按依赖和操作拆分的指标、带关联字段的日志,同样可能定位慢点。追踪的优势是:不用让人每次从头拼接一次请求的来龙去脉,把对齐时间、串联操作的重复劳动,交给数据结构和工具。 这才是它为人的注意力争取到的空间。
二、数据模型:trace 与 span
追踪的全部能力,建立在两个数据结构上:trace 和 span。把它们解剖清楚,“因果链”就从一个比喻变成了具体的字段。
trace 描述旅程,span 描述操作
- Trace:一组相关操作,由用于区分追踪的
trace_id标识。前面那次结账,就是一个 trace。 - Span:旅程中的一个操作——可以是一次跨服务调用,也可以是一次数据库查询、一次缓存读取,或服务内部的一个业务函数。一个 trace 由许多 span 组成。网关处理是一个 span,它调用订单服务是一个 span,订单服务查数据库又是一个 span……
同步父子关系下,trace 像整棵树,span 是节点;涉及异步和批处理时,再用 links 表达无法简化为单一父亲的关系。
span 的解剖
一个 span 长什么样,决定了追踪能告诉你什么。它的核心字段:
下面是便于阅读的 JSONC 概念表示,不是 OTLP 的线缆格式或可直接导入的配置。app.db.lock_wait_ms 是假设应用另行测得的自定义属性,自动插桩不会凭空给出它。
{
"trace_id": "4bf92f3577b34da6a3ce929d0e0e4736", // 32 位十六进制
"span_id": "00f067aa0ba902b7", // 16 位十六进制
"parent_span_id": "b7ad6b7169203331",
"name": "inventory.reserve",
"resource": { "service.name": "inventory-service" },
"start_time": "2026-06-06T14:32:07.412Z",
"duration_ms": 1240,
"status": "OK",
"attributes": {
"app.db.lock_wait_ms": 1190,
"app.user_tier": "premium"
},
"links": []
}三个字段撑起同步调用模型:trace_id 把 span 归入同一次追踪,span_id 标识当前操作,parent_span_id 记录直接父操作。持续时间帮助定位耗时,attributes 补上已采集的上下文。Span 可以像一条挂在执行关系上的宽事件,但属性该记录什么、是否涉及敏感数据,仍由我们设计。
Links 补的是树表达不好的关系。 一个消费者批量处理十条消息,可以用 links 关联多个生产者上下文,而不是任挑一条消息当作所有工作的唯一父亲。它让关系更诚实,也提醒我们别把所有异步工作强塞成一条同步请求。
父子关系重建调用树
父子关系完整时,可以按 parent_span_id 重建树,再结合起止时间显示成瀑布图。缺少父 span 时应显示缺口,而不是擅自把它当作真实入口。下面只示意层级和时长,字符宽度不代表精确的起止时间:
checkout (1840ms) ──────────────────────────────────────────
├─ order.create (1600ms) ───────────────────────────────
│ ├─ inventory.reserve (1240ms) ████████████████ ← 锁等待 1190ms,主要等待位置
│ └─ payment.charge (80ms) ▌
└─ notify.send (40ms) ▌一眼就看出来:总耗时 1840ms,绝大部分被 inventory.reserve 的 1240ms 吃掉,而它的自定义属性进一步告诉你,这 1240ms 里 1190ms 是在等一把数据库行锁。这给出了很强的候选解释:库存操作的大部分时间与锁等待重合。再查数据库等待和锁持有者,才能继续追问谁造成了等待。父子 span 还可能重叠或并行,不能把它们的时长简单相加当作用户总延迟。
和日志的区别:结构
回头看 04:当时我们也用 trace_id 把五个服务的日志串了起来。那和追踪差在哪?差在结构。
用 trace_id 串日志,你得到的是同一次请求的一堆日志,按时间排成一列——你知道它们属于同一次请求,但不知道谁调用了谁、谁嵌套在谁里面、谁和谁是并行的。追踪把父子关系作为模型的一部分,再用时间信息分析嵌套和并行;结构化日志也可以记录类似关系,只是需要自己建立和维护约定。日志的关联是”它们有关”,追踪的关联是”它们如何有关”。 多出来的这层结构,正是追踪的重要价值。
三、关键机制:context propagation
追踪的数据模型很优雅,但它有一个脆弱的前提:那个 trace_id,以及”我的父是谁”这个信息,必须能跨越进程、跨越服务、跨越网络地传递下去。这件事叫 context propagation(上下文传播),它是追踪的命脉,也是追踪之所以难的根源。
命脉:让 trace context 跨进程活下去
设想网关收到请求,创建入口 span,调用订单服务时又创建 client span。订单服务怎么知道自己属于同一次 trace,以及远端父操作是哪一个?它不能靠两个请求刚好发生在相近时间来猜。
这些信息(合称 trace context)必须跟着请求一起,被传到订单服务那边去。如果传丢了,订单服务就会以为自己是一次全新请求的开始,生成一个新的 trace_id——于是这次结账的因果链,在网关和订单之间,断了。
怎么传:W3C Trace Context
传递的方式,是把 trace context 塞进请求的 header。为了让不同语言、不同框架、不同厂商的系统能互相识别,一个广泛采用的标准是 W3C Trace Context;其中的 traceparent HTTP header 长这样:
traceparent: 00-4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7-01
版本 32 位十六进制 trace-id 16 位 parent-id flags这里的 parent-id 是发送这一请求时携带的父上下文标识,通常对应发送端 client span;接收端据此创建自己的 server span。版本 00 的 trace ID 和 parent ID 必须分别为 32、16 位小写十六进制,并且不能全为零。01 的最低位表示 sampled 标志,不保证每个组件最终都记录、成功导出和保留数据。W3C Trace Context
HTTP 用 header 作为载体;消息系统则可能放在消息属性里。载体不同,提取当前上下文、创建操作、向下游注入上下文的责任仍然存在。这个接力棒需要正确交接,因果链才得以延续。
断一次,就断一截
这套机制的脆弱之处,现在很清楚了:在约定使用 W3C Trace Context 的链路中,某一跳丢掉上下文且没有其他有效的关联机制,追踪关系就会在这里断开。
承接 04 的关联字段:字段只有被正确传播和记录,才能成为跨服务调查的线索。比如,某个服务用了一个没集成追踪的老 HTTP 客户端,调用下游时没带上 traceparent,于是下游所有 span 都脱离了这棵树,可能以新的 trace 继续,也可能因为另一套采样规则没有留下记录。你的瀑布图可能出现一段莫名其妙的空白,或者干脆缺了半棵树。
这就是为什么全链路插桩需要逐段验收:想完整重建某个工作流,就要检查沿途服务、协议、框架和异步边界的上下文传播。局部追踪仍然有用,只是不能把它当成全程。完整性像一个木桶,关键路径上的短板决定了哪些问题还得靠其他证据回答。
谁来传播
那么,谁来负责在每一跳传播 context?这是 仪器化负担这根标尺上的问题,有三种经常组合使用的能力:
- 手写 SDK:开发者显式管理关键业务操作和上下文。它能表达框架不知道的业务语义,但需要维护;没有必要把每个框架调用都手写一遍。
- 自动插桩(auto-instrumentation):由 agent、库或框架集成拦截受支持的调用,注入和提取上下文。它可以大幅降低重复劳动,覆盖范围仍取决于语言、框架、版本和异步用法。
- 服务网格:代理可以生成网络请求 span,并转发追踪头;应用或框架仍需把引发某个出站请求的入站上下文传过去。代理同时看见入站和出站流量,不代表它知道应用内的因果关系。Istio 追踪 FAQ
传播的工作可以下沉,却没有凭空消失。平台铺好通路,框架处理常见协议,业务补上语义和异步边界,是 仪器化代价校准更真实的样子。下沉以后仍要测试,而不是看到一部分 span 就宣布全链路完成。
四、核心代价:采样
追踪的因果重建如此强大,但它有一笔躲不掉的账。这笔账怎么付,决定了整个追踪系统长什么样。
为什么经常需要采样
一个高 QPS 的系统,每秒几万次请求,每次请求几十个 span,每个 span 带一组属性。全量保留可能超过吞吐与存储预算。健康请求也有基线和对照价值,但未必需要把每一条都留同样久;低流量服务则可能负担得起全量保留。
于是经常要用采样(sampling):只保留一部分 trace,丢弃其余。问题立刻来了——保留哪一部分? 这个看似简单的问题,分裂出两条根本不同的技术路线,而它们的差异,决定了系统架构。
头部采样:一进来就决定
头部采样(head-based sampling):在请求刚进入系统时(网关那一跳)就掷骰子决定——“这条 trace 采还是不采”,然后把这个决定写进 traceparent 的 flags 位,一路传下去。下游配合 parent-based 等策略,才能让这个决定保持一致;跨信任边界还可能有自己的采样政策。
- 优点:简单、低开销。不用为了等待最终结果而缓存整条 trace;SDK 通常仍有记录、批处理和发送队列。
- 主要缺点:决定做得太早——在请求出错或变慢之前就决定了。如果你采样率是 1%,长期看,约 99% 的请求不会被选中,包括那些恰好出了错、最值得你看的请求。你最想要的那条 trace,很可能在它出错之前,就已经被源头的骰子判了”不采”。
尾部采样:等待有界窗口再决定
尾部采样(tail-based sampling):在采样层收集一段时间内到达的 span,再按所见结果决定保留。例如:错误优先留、慢请求优先留、正常请求按一定比例留作基线。
- 优点:比在入口掷骰子更能针对排障价值分配保留预算。
- 代价:送到采样层之前,span 仍需被生成、传输并暂存。同一 trace 通常需要汇聚到同一决策节点,伸缩与路由也因此变成设计问题。
- 边界:采样层并不知道”所有 span 都到齐了”。等待窗口、容量淘汰、晚到 span、节点故障和上游丢弃都会留下缺口;入口已经丢掉的 trace,尾部无法复活。“优先保留错误”是一项有前提的政策,不是”所有错误一条不漏”的保证。
OTel Collector 的 tail sampling processor 就需要管理等待时间、在途 trace 容量和晚到数据。配置策略之外,还要观察实际接收、丢弃和决策情况。OTel 尾采样组件
采样策略是架构决策,不是配置项
这是这一章最想让你记住的:头部还是尾部,不是一个能随手改的配置开关,它是一个架构决策。
选头部,你的追踪系统可以很简单,但你接受”可能漏掉关键请求”。选尾部,你更有机会按结果留住关键 trace,但得承担有状态采样管道的复杂度,并验证实际覆盖率。这个选择牵动存储、网络、计算资源的分配方式——它是 人与资源校准在追踪系统里的一次具体落地:你愿意为”提高关键 trace 的保留概率”,付多少架构复杂度?头尾也可以组合,只是必须把两次选择造成的损失一起计入。
★ 故障剧场:被采样漏掉的那条 trace
用一个假设场景摸清这个代价。你的系统用 1% 头部采样,图个简单省钱。
某天,一个用户报告了一次诡异的结账失败。你打开追踪系统,按他的 user_id、按时间窗口搜索那条 trace——什么都没有。 因为这次请求在进入网关的那一刻,被 1% 的骰子判了”不采”,若全链路遵守这一决定,这条请求就不会形成可供查询的完整 trace。真实排障中,还应核对插桩、导出失败、查询范围和保留期,不能只凭”搜不到”断定是采样。
你陷入一个荒诞的处境:指标告诉你错误率确实有一个零点几的抬升(你知道有问题),但那条能告诉你”为什么”的 trace,被你自己的采样策略丢掉了。你为重建执行过程建起了整套工具,却恰恰没有那一次故障的数据。这就是头部随机采样对稀有事件的弱点。可以据此评估提高采样率、按入口类别调整策略、尾采样或关键错误日志;不必把所有系统都推向同一种复杂度。
五、工具与边界
工具:Jaeger / Tempo / Zipkin
落到具体工具。追踪后端主要解决”海量 span 怎么存、怎么按 trace_id 查回来”:
- Zipkin:Twitter 开源的元老,模型简单,生态成熟。
- Jaeger:CNCF 项目,Uber 出品,功能完整,支持多种存储后端(以选用版本的支持列表为准),是云原生追踪的主流选择。
- Grafana Tempo:以对象存储作为重要的持久化底座,但已经不能概括成”只能拿 trace ID 查”。当前官方文档提供 TraceQL,可以按属性和 span 结构检索;也提供从 traces 生成指标的能力。列式格式、扫描量、查询窗口与部署规模共同决定成本,不能简单称作”牺牲所有搜索能力换极低成本”。Tempo TraceQL
这些后端的差异,是 存储汇率的不同报价。先拿自己的查询、保留期与数据量试算,再决定哪一种汇率划算。
边界一:聚合结果取决于采样位置与统计口径
追踪后端可以做聚合,也可以在管道中从 spans 生成 metrics;因此”追踪不能产生指标”并不成立。真正要问的是:计算发生在哪里,看到的是哪部分流量?
- 等概率随机采样不必然带来系统偏差。已知纳入概率、机制正确时,可以估计总体数量;但估计有方差,稀有故障可能根本没被抽到。
- 按错误、延迟选择的尾采样改变了样本分布,不能把保留下来的错误比例直接当成总体错误率。分位数更不能按一个比例简单放大。
- 如果在采样之前,从完整到达该管道的 span 流生成指标,就避免了后续保留策略带来的选择偏差;上游未插桩、丢失或漏传的数据仍然不可见。
所以指标与追踪经常互补:聚合指标承担连续趋势和服务目标,追踪保留值得调查的具体过程。它们都不是天然无偏,统计口径、覆盖边界和丢失情况必须写清楚。OpenTelemetry 采样概念
边界二:只看见被仪器化的操作
追踪可以深入服务内部:给关键业务函数创建 internal span,就能记录它的起止与上下文。真正的边界不是”只能看到服务之间”,而是没有创建 span 的地方,不会自动长出细节。
给每一个函数都创建 span,也会带来开销、数据量和维护负担。某个操作慢了,但已有子 span 无法解释时,持续分析可以用统计采样覆盖更广的代码路径,帮助找到 CPU、分配或等待热点。一个提供操作上下文,一个提供资源归因;两者粒度可以重叠,不能画成一条绝对边界。
它服务于事后调查,也需要事前设计
追踪用显式操作关系帮助我们事后调查,愿意为请求身份、属性和上下文支付资源。它不专属于容器或微服务:单体内部的复杂工作流也可以受益。需要预先设计的是采集覆盖、语义、传播与保留策略;能够事后自由组合的是已经留下来的证据。这块砝码偏向”提问端”,但从来不是无限提问的通行证。
六、小结:坐标与去向
追踪在五维标尺上的坐标
用 那把尺子给追踪定位:
| 维度 | 追踪的坐标 |
|---|---|
| ① 预先判断与事后探索 | 事前铺设操作与上下文,事后调查已保留的执行关系 |
| ② 信息保留的粒度 | 请求级细节与采样交换,成本取决于流量、span 数、属性和保留期 |
| ③ 信号的分工 | 一次操作如何展开,结合其他证据解释慢点和失败 |
| ④ 注意力的阀门 | 常用于告警后的诊断;聚合或派生信号也可用于告警 |
| ⑤ 仪器化的负担 | 关键路径传播与业务语义维护,自动插桩能减负但需要验收 |
追踪为人的调查节省了拼接关系的时间,也要求我们维护一条可信的数据链路。它是否最贵、是否值得,不取决于信号名字,而取决于一次调查省下多少时间、为这些证据长期付了多少成本。
实践收束:先验收一条能解释的旅程
- 适用问题:选一个关键用户操作,明确要区分的是依赖等待、应用处理还是失败传播。
- 采集约定:统一服务名、环境、版本、时钟与传播格式;记录 HTTP、队列及异步边界,用脱敏属性补业务语义。
- 失真检查:区分未插桩、断传播、头部丢弃、晚到 span、传输失败与已过保留期;不要把没有查到数据当成没有发生。
- 验收证据:在隔离实验中保留已知请求,检查父子与 links、错误状态、并行关系和预期耗时;再验证采样策略对正常、错误和慢请求的实际处理。
- 成本约束:测量每请求 span 数、平均体积、接收/导出损失和采样层内存;把业务函数插桩用在能减少调查时间的地方。
本文 ID、结构图和采样叙述用于解释模型,未提供或宣称验证过一套完整部署。
去向
追踪的两道边界,精确地指向接下来三篇:
- 某个已知慢操作需要更广的代码资源归因 → 07-持续分析-时间花在哪里的第四类信号。
- 全链路插桩这么难、context 传播标准这么关键、还想”一次插桩喂所有后端不被锁死” → 09-OpenTelemetry-三个信号的统一语言(W3C Trace Context 正是它的地基)。
- 让框架与基础设施承担更多采集工作,并理解它们的传播边界 → 10-云原生可观测性-零侵入是如何做到的。
那个贯穿全系列的问题:追踪把天平推向了哪边?保留执行关系,换取一次具体调查的解释力。 我们不必给所有函数都打点,也不能假定被采样掉的现场还能回来。下一篇进入持续分析,看看怎样用另一种资源交换,找到代码里的累计热点。
来源与适用时间
W3C Trace Context、OTel trace/采样模型、Istio 传播边界与 Tempo 查询能力,按 2026-10-12 的官方文档核对,来源见相关段落。文档中的组件能力不替代具体版本、协议与应用链路的运行验收。
返回 可观测性与运维工程 MOC | 上一篇 05-可观测性-从已知失败到任意提问 | 下一篇 07-持续分析-时间花在哪里的第四类信号