持续分析:时间花在哪里的第四类信号

上一篇结尾,追踪把我们带到一个真实的取舍前:它能告诉你”这次请求的 1840 毫秒里,库存操作占了 1240 毫秒”,也能用 internal span 继续拆开业务函数。可我们不可能毫无代价地给所有函数都建 span。没有插桩的路径里,CPU、内存和等待究竟花在哪里?

持续分析(continuous profiling)提供了另一种看法:用持续保留的代码级资源样本,寻找累计热点。 本书把它作为指标、日志、追踪之外的第四类信号来讲;“第四”是阅读安排,不是技术能力的排他性排名。它接着问:既然已经知道哪一段值得调查,怎样用更少的人工打点,获得更广的代码视野?

一、钻进那一跳:持续分析在做什么

从操作耗时到资源归因

把几类证据放在一次性能调查里:

  • 指标:结账 P99 是 1.8 秒,库存服务 CPU 也上升了。
  • 追踪:查到的一个慢请求里,库存操作耗时 1.24 秒。
  • 持续分析:相应实例在这段观察窗口的 CPU 样本里,serializeResponse() 占比很高。

这让序列化成为值得验证的候选。最后一条不能直接改写成”这一次请求的 1.24 秒里,0.9 秒都在序列化”。 整个进程的样本可能混有其他请求、GC 和后台任务;除非具备可靠的请求关联与相应 profile 类型,否则只是相同时间范围内的线索。

追踪描述被记录的操作,profiling 描述资源消耗与调用栈。两者都能进入服务内部;它们的互补之处,在于采集方式、语义和成本。

第四类信号的定义

收紧成定义:持续分析,是持续采集并保留程序在一段时间内的代码级资源剖面,用于比较 CPU、分配、存活内存或等待等资源消耗。

注意”剖面”和”一段时间”。很多 profiler 使用统计采样,不记录每一次函数执行;不同 profile 的单位和时间语义也不同。CPU profile 常聚合一个窗口内的执行样本,heap profile 可以描述某时刻仍然存活的对象,allocation profile 则描述一段时间里的分配活动。

同一函数可以 CPU 很热、分配很少,也可以几乎不耗 CPU、却让请求长期等锁。先说清楚在测什么,再讨论”热”意味着什么。Go runtime/pprof 的 profile 类型

它回答”哪段代码慢/费”

一个服务的 CPU 莫名涨到了 80%。指标告诉你”涨了”,已保留的 trace 却看不出哪一个操作明显变慢。CPU 仍实实在在地高。

这正是持续分析的常见主场:某个函数可能被更频繁地调用,某段后台任务可能持续运行,也可能是每次请求都增加了一点不显眼的开销。把足够多的样本累计起来,热点才变清楚。日志和定制计时也能找到它,但覆盖、维护和调查时间可能更贵——这就是值得校准的汇率。

二、读懂火焰图:profiling 的数据形态

持续分析的数据,常呈现为火焰图(flame graph),也可以用调用树、表格和差异视图查看。看懂火焰图,就看懂了 profiling 在说什么。

一次采样 = 一个调用栈快照

以一种常见的 CPU 采样方式为例:按设定频率或事件触发采样,记录当时的调用栈及权重。 其他 profile 可能由分配、锁或调度事件触发,不都按同一只时钟采样。一次采样,得到一个栈快照,比如:

main → handleRequest → serializeResponse → json.Marshal → reflect.Value

这告诉你:在这个被抓住的瞬间,采样点位于 reflect.Value 所对应的执行路径,而它是被 json.Marshal 调用的,再往上是 serializeResponse……一个快照给出瞬间证据,不能独自代表总体。积累足够多的样本,才有机会看出稳定分布;真实样本数还取决于活跃线程、CPU 占用、采样机制和丢失。

把海量栈快照聚合 = 火焰图

把这些栈快照按相同调用路径聚合统计。对等权、近似均匀的 CPU 样本,某条路径出现得越多,通常说明它累计使用的 CPU 越多;有权重的样本应按权重累计。再画出来,就是火焰图:

█████████████████  reflect.Value (35%)
███████████████████████  json.Marshal (48%)
███████████████████████████  serializeResponse (55%)
█████████████████████████████████  handleRequest (68%)   ██████████████  dbQuery (28%)
█████████████████████████████████████████████████  main (100%)

这是常见的根在下、叶在上布局,宽度仅作示意,没有画完所有分支。若界面使用倒置的 icicle 布局,方向相反,读图前先认清根的位置。

  • 宽度:该栈帧及其子调用累计承载的样本权重。对于 CPU profile,通常可估计 CPU 时间分布;对于 allocation 或 off-CPU profile,可能是字节数或等待时长,不能都读成 CPU。
  • 纵向:调用深度。本图下方是调用者,上方是被调用者。
  • 横向:聚合后的栈分组,不是时间先后。需要看时间顺序时,要看 flame chart 或其他时序视图。Brendan Gregg:火焰图原理

怎么读:从宽块走到 self cost

先找宽块,再区分 total cost(包括子调用) 和 self cost(函数自身)。一个框宽,可能只是因为它调用的东西多;并不等于它自己的代码低效。叶端宽块是常见入口,但工具提供的 self 统计更适合检验这个判断。

上图中 reflect.Value 在样本里占了 35%,提示序列化路径值得检查。沿栈向下,可以找到是谁触发了它;再结合请求量、数据大小、版本变化和代码,判断这笔资源消耗是否合理。火焰图指出成本落点,不自动证明根因,更不保证最宽的块就该优化。

它的美仍然成立:几万个快照,压缩成了一张可以快速提出假设的图。人的注意力不用从所有代码里盲找,而是从有证据的热点开始。

on-CPU vs off-CPU:在跑什么 vs 在等什么

前面的 CPU profile 主要观察 CPU 正在执行什么,也就是 on-CPU 视角。若请求大部分时间在等锁、磁盘或网络,CPU 图可能只有很少相关样本;它不一定是空的,只是解释不了主要的等待。

Off-CPU profiling 观察线程离开 CPU 到重新获得 CPU 的时间,并尝试关联调用栈。具体工具可能还要区分阻塞和调度等待;应用运行时内部的任务切换也未必直接对应操作系统线程切换。Wall-clock profiler 则可以对包含运行与等待的经过时间采样,它也不等于纯 CPU profile。Brendan Gregg:Off-CPU 分析

On-CPU 帮你问”在算什么”,off-CPU 帮你问”为什么没在运行”。 二者都不是单请求延迟的自动分解式:并行线程、运行时调度、采样范围和请求关联,会影响怎样把这些证据与用户等待时间对齐。看图之前,先把单位、范围和分母说清楚。

三、从 profile a moment 到 profile always

火焰图本身不是新东西——Brendan Gregg 普及它已经十多年了。持续分析真正的革新,藏在”持续”这两个字里。

传统 profiler:手动抓一个瞬间

传统的 profiling 是这样用的:服务出问题了,工程师登上某台机器,手动跑一次 perf record(Linux 通用)或触发一次 pprof(Go),采集个几十秒,拿到一张火焰图,分析完就结束。这是按需诊断的一种工作方式。同一种 profiler 也可能被调度为持续采集,工具名字不决定它只能临时用。

瞬间的问题

这种”按需抓瞬间”的方式,在生产环境有一个致命的错配:生产的性能问题,往往不在你抓的那个瞬间。

  • 性能退化常常是渐变的——某个函数随着数据量增长越来越慢,你今天抓一张图看不出异常,要和三周前对比才看得出趋势。
  • 性能问题常常是负载相关的——只在每天高峰、或某种特定流量组合下才出现。你手动登上去抓的那十秒,恰好可能是风平浪静的十秒。
  • 最坏的情况:故障已经过去了。你想分析”昨晚两点那次 CPU 飙高”,可你两点在睡觉,没人去抓那张图,现场永远丢了。

我们很难总在问题出现时恰好抓到 profile。按需采集保留了灵活性,持续保留则减少对”人及时赶到现场”的依赖;两者可以配合。

持续分析:profile always

持续分析的回答是:把经过验证的轻量采样作为常驻能力,提前留下可比较的历史。

它可以在选定服务和实例上持续运行,按设定频率采样,再聚合上传。是否能全生产覆盖,要看进程数、采样率、栈深度、符号解析、运行时以及存储预算。所谓低开销是设计目标;“通常只有 1%“不能替代自己系统的基线对照。

于是,在覆盖到、采到、传到并且仍在保留期内的范围中:

  • 你能回到过去的时间窗口——查看昨晚异常期间留下的资源剖面。
  • 你能对比版本——在相近负载、请求组合和资源条件下,比较 2.3.0 与 2.3.1 的差异。
  • 你能发现渐变——检查同一函数的绝对消耗和占比是否持续变化,避免只看比例被其他函数的涨跌误导。

“持续”二字的全部意义

从 profile a moment 到 profile always,真正增加的是时间覆盖和可比较的历史,不是记录每次函数执行、更不是全采全留。采样仍会漏掉短暂或罕见路径;没有采到热点,既可能没有热点,也可能样本不足。

Parca 的说明同样把持续分析建立在统计采样上:积累足够数据来改善解释力,而不声称每段执行都被记录。Parca:持续分析概述

这仍是 人与资源之间的校准:长期支付一笔可接受的采样和存储费用,换取故障过去后不必从零重建现场的机会。

四、eBPF:降低接入成本的一条路

让 profiling 常驻的前提,是采样足够轻、输出值得相信、运维成本可承担。eBPF 是重要路线,但持续分析不由它独占。

运行时 profiler 与系统 profiler

语言运行时往往更了解自己的线程、协程、对象和锁;系统 profiler 则有跨进程与主机视角。Go 的 runtime/pprof、Java 的运行时采集方案、语言 SDK 和 eBPF,都可以参与持续分析。pprof 也既指常见的采集/分析生态,又指被多种工具使用的数据格式,不能简单说它”只服务 Go”。

选择时要逐项看:是否改代码、是否改启动配置、是否重启、支持什么 profile 类型、要什么权限、额外开销多少。一个在你的运行时里成熟的采集器,可能比强行统一到另一条路线更省人。Pyroscope 采集方式

eBPF perf event 采样原理

一种常见的 CPU 采样做法,是让 eBPF 程序挂到 perf event:按频率或事件触发时,采集当前任务的调用栈信息,在内核侧聚合或传递给用户态,再做符号解析与上传。具体数据通路可以用 Map 或缓冲机制;不是每个 profiler 都采用完全相同的实现。

它的吸引力很实在:

  • 减少业务代码改动:受支持目标可以从系统侧接入,避免到每个服务里手写同一套 CPU 采样逻辑。
  • 统一部分运行面:一个主机级采集器能管理多个进程,平台团队更容易做版本、标签和预算管理。
  • 把采样成本控制在可常驻的范围:这是可以验证的工程目标,仍需用真实负载测量。

边界也要同时写上:Linux 内核和架构、采集权限、栈展开信息、语言运行时及 JIT 支持都可能影响结果。某个 eBPF profiler 支持 CPU profile,并不自动意味着它也支持内存分配和锁等待。Grafana Alloy 的 eBPF 文档就单列了平台、语言与 profile 类型限制。Alloy eBPF 采集边界

(eBPF verifier 与内核机制,见 云原生与平台工程 MOC。这里把它作为采集能力讨论,不把 verifier 的验证等同于”任何采集都无开销、无风险”。)

符号解析的难处

eBPF 抓到的栈,其实是一串内存地址——0x4a3f12、0x4b8801……要变成人能读的 json.Marshal,需要符号解析:拿着地址去程序的符号表里反查函数名。这一步是 profiling 工程上最麻烦的部分之一:编译优化会内联函数、strip 可能移除调试符号,需要额外符号文件或运行时元数据、不同语言的栈帧布局不一样(尤其是 JIT 的 Java、有 async 栈的语言)。一张火焰图好不好用,很大程度取决于栈展开和符号解析——出现大量未知地址、截断栈或错误符号时,图仍然能画出来,解释却可能已经失真。记录二进制与符号版本,检查 unknown 比例,比只确认”页面有图”更重要。

★ 故障剧场:追踪正常,CPU 却涨了

用一个假设故障把这些判断串起来;它不是已执行的实验记录。

你发布了 2.3.1。上线后,某个服务的 CPU 从 40% 悄悄爬到了 75%,但现有信号没有显示明显变慢——P99 平稳,追踪里每一跳的 span 耗时都正常,错误率也没动。指标在喊”CPU 高”,已保留的追踪暂时没有给出明显慢点。你陷入僵局:CPU 被谁吃了?

你打开持续分析,先核对两个窗口的负载与请求组合,再把 2.3.1 和 2.3.0 的 CPU profile 做差异比较。假设差异指向:2.3.1 多出来一大块宽度,栈是 handleRequest → logRequest → json.Marshal。原来新版本给请求日志加了一个”把整个请求体序列化成 JSON 记下来”的逻辑,每个请求都跑一次重序列化——单次开销在当前噪声下不明显,但累计增加了 CPU 消耗。40% 到 75% 是总占用增加了 35 个百分点;火焰图里的某个函数占比,分母却是当前采到的总样本,二者不能直接画等号。

持续分析把候选迅速缩到日志序列化路径。接着要检查代码变更、重现相同负载,并在撤销或优化该逻辑后复测 CPU、吞吐和延迟。热点定位是调查进展,修复后指标回归才进一步支持这个解释。 这里节省的,是人从海量代码中盲查的时间。

五、工具与边界

工具:Parca / Pyroscope 的持续保留

持续分析需要同时处理采集质量、关联、传输、存储和查询。想想数据量:所有实例、7×24、每秒上百个栈样本、多个样本可以在上传前合并,但栈数量、标签变化和保留期仍然影响数据量。

  • Parca(Polar Signals 出品):用一套类似 Prometheus 的思路存 profile——把火焰图数据当成带 label 的时间序列来组织、压缩、查询。你能像查指标一样,按 service、version 等维度切分 profile。
  • Pyroscope(已并入 Grafana):另一套高效的 profile 存储引擎,和 Grafana 生态深度集成,能把 profile 和指标、日志、追踪放在同一个界面里关联看。

两者都在解同一道题:怎么把”持续”产生的海量火焰图,存得起、查得快。 这又是一次 存储汇率的较量——和 Loki、Tempo 一脉相承,都在设法降低”留下足够证据”的成本;它们并不保存程序的一切执行细节。

关联追踪:从哪一跳慢到哪段代码慢

持续分析可以按相同的服务、实例和时间窗口与追踪关联;有的工具还提供 span profiles,需要受支持的语言集成把采样上下文与 span 关联起来。Pyroscope Span Profiles

这两种关联层次不同:跳到相同时间窗口的进程火焰图,得到的是附近的资源线索;明确关联到某个 span 的样本,才更接近该操作的资源剖面。即使后者,也受采样数量、异步传播和 profile 类型影响,短 span 可能一个样本都没有。

从哪一段慢走向哪段代码值得查,是两个信号接力的价值。它不要求我们假装每一次跳转都已经完成单请求的精确归因。

边界:它看不见”为什么走这段”

持续分析也有需要其他证据补充的问题。它告诉你 serializeResponse 累计很热,但如果没有相应的请求关联和业务属性,它不能单独解释”为什么某一次请求会走进这个函数”——是哪个用户、哪个参数、哪条业务分支触发的?那是单次请求的因果,属于 追踪和 宽事件。

持续分析回答”哪段代码热”(累计、宏观),追踪回答”为什么这次走了这段”(单次、因果)。 没有哪类信号全能。四类信号组合起来可以减少盲区,但组合本身也有覆盖边界,完整性仍需要验证。

内核机制不在本篇

最后划清边界:本篇讲的是 eBPF 作为一种采样能力,怎样减少部分应用改动,并帮助 profiling 持续运行。至于 eBPF 自己是怎么在内核里安全运行的——verifier 的验证、Maps 的通信、它和容器网络/安全的关系——那是另一个完整的话题,见 云原生与平台工程 MOC。在这里,eBPF 是工具,不是主角。

六、小结:坐标与去向

持续分析在五维标尺上的坐标

用 那把尺子给它定位:

维度持续分析的坐标
① 预先判断与事后探索提前持续采样,事后比较留存的资源剖面,仍需选择类型与覆盖范围
② 信息保留的粒度样本聚合换可持续保留,频率、栈数、标签和保留期一起决定成本
③ 信号的分工代码级资源归因,与操作上下文和总体趋势互补
④ 注意力的阀门主要用于诊断与性能回归分析,也可形成派生规则
⑤ 仪器化的负担系统采集、运行时与 SDK 多条路线,减轻打点但增加采集与符号维护

持续分析的鲜明价值,是让许多代码路径不必逐个手工计时,就能进入我们的调查视野。机器长期采样、聚合和存储,人少做一些盲找;与此同时,采集器、权限、符号和数据质量需要有人负责。这不是成本归零,而是换了一种汇率。

实践收束:先相信样本,再相信热点

  • 适用问题:明确要调查 CPU、分配、存活内存还是等待;为一个服务选择与问题匹配的 profile 类型。
  • 采集约定:固定服务、实例、版本、二进制/符号关联、采样率与保留期,核对内核及语言运行时支持。
  • 失真检查:检查丢样、unknown 栈、栈截断、样本量和请求混合;看百分比时同时检查绝对资源量及分母。
  • 验收证据:在可控负载下引入已知计算或分配热点,确认能在对应 profile 里看见;移除热点后复测资源与用户体验,再检查采集器对负载的实际影响。
  • 成本约束:从关键服务的小范围覆盖开始,记录 CPU/内存开销、数据量与调查收益,按实际证据扩大范围。

本文讲采集与解释方法,没有提供或宣称实测过一套完整部署。单看火焰图里出现函数名,不等于性能根因已经确认。

去向:信号扩张收尾,转入工程化

到这里,可观测性的四类信号——指标、日志、追踪、持续分析——全部就位。“信号的扩张”这条子带走完了。从下一篇起,阅读转入第二条子带——工程化与标准化:信号都有了,怎么用好它们?

那个贯穿全系列的问题:持续分析把天平推向了哪边?用可持续的采样费用,换取代码级调查的时间与覆盖。 它既没有留下所有执行,也没有消灭人工判断,却让很多原先昂贵的性能问题变得更容易追问。四类信号介绍完,下一篇换个问题:有了这些证据,我们到底要守住什么服务承诺?

来源与适用时间

火焰图和 off-CPU 的解释采用 Brendan Gregg 的原作者资料;profile 类型、采集方式和关联能力按 Go、Parca、Grafana 官方文档核对,核对日期为 2026-10-12。产品支持列表与运行时版本会变化,正文不把某种工具的功能推成所有 profiler 的保证。

返回 可观测性与运维工程 MOC | 上一篇 06-分布式追踪-因果链的精确重建 | 下一篇 08-SLO-把可靠性变成数学