可观测性:从已知失败到任意提问
前面三篇,我们从 监控的检查与判据,走到 指标的量化趋势,再走到 日志的事件上下文。这一篇把视角拉开:当问题不是事先写好的那一道题,我们怎样用已经留下的证据,继续追问?
可观测性(observability)关心这种理解系统的能力。它让我们从“是否越线”继续走向“哪些请求异常、有哪些共同点、下一步该验证什么”。这是 人与资源校准的一次具体展开:保留多少上下文,换取多少探索空间;增加的机器开销,能否减少现场的猜测与重复劳动。
一、换挡:从”坏了没”到”在发生什么”
接上日志的渡口
上一篇结尾,trace_id 让我们把多个服务的日志归到同一次操作。它还没有自动证明因果,却已经减少了手工拼现场的工作。可观测性的建设,往往就是从这种具体摩擦开始。
我们不再要求为每一种故障组合事先准备一个专用答案,而是保留足够的观测量、上下文和关联,让后来提出的问题也有证据可用。这里改变的是预先设计的对象:从固定答案,扩展到可供探索的信息。
从持续检查,走到开放探索
更多指标和图表未必带来更多理解。衡量投入时,要把两个问题接起来:
- 持续检查问:重要的服务结果有没有偏离判据,是否需要行动?
- 探索式分析问:异常集中在哪些操作和群体,哪些证据支持或反驳当前解释?其中有些切分方式,是事故后才想到的。
两者可以由相同或相互关联的数据支持。指标也能临时聚合与切片,日志也能触发预设告警;区别不在工具名称,而在于当前保存的信息,是否足以支持后续问题。只增加图表、不改善证据与关联,可能只是增加了阅读负担。
一个借来的词
“可观测性”借用了控制论从可见输出理解系统状态的视角。数学上的可观测性依赖模型与观测条件;软件工程中的用法是能力目标,不能直接当成“任何内部状态都可精确还原”的保证。
Charity Majors 与 Honeycomb 强调:系统应支持回答事先未预料的问题,而不必为了每个新问题重新发布埋点。这是影响很大的工程主张。它要求先有足够的仪器化和数据;“无需为这次问题新增埋点”,不等于“无需预先采集”。 宽事件路线的论述见 Honeycomb 原文,后文会说明它的适用边界。
二、核心:已知的已知与未知的未知
为什么我们需要在预设规则之外留下探索空间?可以借“已知与未知”这个认识论视角来想,但不要把它当成工具的分类表。
已知与未知:一个帮助提问的框架
按我们对问题的认识,粗略区分:
- 已知的已知:你知道会发生,也知道怎么观察。“磁盘会满,我监控它。”
- 已知的未知:你知道可能发生,但不确定细节。“延迟可能会高,但不知道会高在哪。”
- 未知的未知:你根本没想到的故障模式。出事之前,你甚至不知道该担心它。
- (第四象限”未知的已知”——你忽视的已知风险,是组织问题,按下不表。)
通用症状可以发现未知原因
监控与指标能对已定义的观测量持续判断。观测量可以是具体资源,也可以是广泛覆盖故障的用户症状:
- 已知问题:用明确检查持续覆盖,仍要验证采集、判据和通知链路。
- 未知原因:即使没预判重试与 GC 的组合,成功率和延迟仍可能发现用户受损;RED/USE 为这类覆盖提供了起点。
发现了症状之后,“为什么只影响这一批请求”仍可能没有答案。此时需要更细的上下文,而不是否认已有告警发现异常的价值。
把症状继续追到可检验的解释
分布式系统的一类难题,是多个条件叠加产生的退化。服务 A 在流量尖峰下对 B 重试,B 恰好发生 GC 停顿,而这批请求又集中于启用了新特性的某个客户端版本。单看总体资源曲线,影响可能不明显。
你未必能提前枚举这种组合,但可以通过用户症状发现它,再用版本、客户端和调用路径的上下文去检验解释。预设检测负责及时发现,开放探索负责继续理解;两者共同减少人的不确定性。
“任意提问”的真正含义
本书所说的“任意提问”,需要加一条边界:问题可以在故障后提出,但答案仍受当时采集的字段、粒度、样本和保留期限制。 没记录的版本号不会事后长出来,丢弃的 trace 也不会因为查询更灵活就回来。
举例:故障发生后,你逐步逼近——“是不是某个版本?”→“这个版本里,是不是某个平台?”→“这个平台里,是不是某个地区?”。你未必为这次组合故障预写过查询,但版本、平台、地区必须事先存在于数据里。提前设计信息,事后组合问题,是这里真正购买的自由。
三、信息设计:高基数与高维度
接下来选一条具体路线,把“为未来提问留下证据”讲透:丰富事件中的属性,以及适合保留这些属性的数据模型。它是可观测性建设的一部分。
为未来问题留下足够维度
如果你想在事后按”版本 + 平台 + 地区 + 端点 + 用户层级”的任意组合发问,那么在数据采集的那一刻,这些维度就必须都在。少留一个维度,事后就少一个能问的问题。
高维度(high dimensionality),是每个事件携带较丰富的属性。应优先记录能区分服务行为、部署版本与关键业务路径的字段,并约束体积、权限和敏感信息。字段越多不必然越有用;无选择地记录用户特征或请求体,会把证据问题变成隐私与成本问题。
给高基数信息选择合适的位置
指标那篇提醒我们:在标签组合形成独立序列的模型中,无界 user_id、request_id 会让成本难以控制。可具体请求和用户的关联,有时又确实是排障所需。问题是怎样在适合的存储与访问边界内保留它们。
事件模型通常可以把高基数属性放在单条记录中,不为每个组合创建一条时间序列;这是一种不同的成本结构。它仍要承担事件量、字段宽度、索引和查询代价。能保留个体,并不等于可以无限地存。
高基数(high cardinality):一个字段可能的取值数量。
user_id:可能百万级 → 通常不作指标标签;必要时在受控事件字段中保留
trace_id:极高基数 → 用于操作关联;指标可通过 exemplar 附带样本引用
status_code:~10 → 两者都能用同一个高基数属性,放在指标标签、日志索引标签、事件正文或 structured metadata 中,成本与查询能力会不同。天平移动的前提,是先选对信息的位置,而非无条件“拥抱爆炸”。
数据模型:wide events
一种组织“高维度 + 高基数”上下文的方式,是 wide event(宽事件):围绕一个有意义的工作单元,集中记录相关属性。可以是一项请求在一个服务中的摘要,也可以是一个 span;一次跨服务请求可以有多条这样的事件。下面是概念示例,ID 与自定义字段用于说明,不是 OTLP 报文:
{
"timestamp": "2026-06-06T14:32:07Z",
"trace_id": "abc-123",
"duration_ms": 1840,
"http.request.method": "POST",
"http.route": "/api/checkout",
"http.response.status_code": 500,
"user.id": "8f3a",
"user.tier": "premium",
"app.version": "2.3.1",
"device.platform": "iOS",
"geo.region": "ap-southeast",
"db.query_count": 14,
"db.slowest_ms": 1200,
"cache.hit": false,
"downstream.payment.status": "declined",
"feature_flags": ["new_checkout", "fast_path"]
}集中上下文的好处是,你可以在同一条记录携带的属性上组合过滤和聚合,减少跨数据集拼接。但一条摘要不会自动拥有所有子操作时序,也不能取代资源指标、审计日志或未采到的其他事件。
wide events vs 时间序列
把它和 Prometheus 的时间序列并排,两种数据模型的世界观一目了然:
| 时间序列(Prometheus) | 宽事件(Wide Events) | |
|---|---|---|
| 存什么 | 按标签组合聚合的数字或分布 | 被保留工作单元的属性与测量 |
| 基数 | 控制实际序列数与更替 | 允许较高基数,但仍受索引与成本约束 |
| 能问什么 | 在已保留标签上聚合、切片和比较 | 在已保留属性上追问个体、群体与关联 |
| 成本 | 随序列数、采集频率、保留期变化 | 随事件量、宽度、采样、索引和查询变化 |
| 提问时机 | 埋点时选维度,查询可事后组合 | 采集时选上下文,查询可事后组合 |
两种模型保留的信息粒度不同,适合回答的问题也不同。同一系统可以用指标持续观察总体,用事件解释个体差异;具体成本倍数要在相同负载与保留条件下测量,不能作为通用常数。
四、实践:从三大支柱到统一宽事件
理论要落到工程实践。可观测性领域有一场仍在进行的辩论,恰好把”怎么落地”这件事的两条路线摆在了台面上:三大支柱 vs 统一宽事件。
经典做法:三大支柱
常见的可观测性入门框架是“三大支柱(three pillars)”——Metrics、Logs、Traces。可以用 Prometheus、Loki/ES、Jaeger 等分别处理,也可以使用统一平台。分类帮助理解信号,但部署三套组件不等于已经建立了关联。
三支柱的代价:在筒仓间反复横跳
三类信号如果各自建设、没有共同标识与查询入口,就会形成割裂的数据孤岛。真实的排障现场可能变成:
- 你在 Grafana(指标)看到结账接口 P99 飙升;
- 你切到 Jaeger(追踪),手动找一条慢的 trace,发现卡在支付服务;
- 你再切到 Kibana(日志),用刚才那个 trace 的时间戳和 service,手工搜对应的日志,想看错误详情。
三个系统、三次上下文切换、靠时间戳和 id 手工关联——而且每一步你都只能看到这个筒仓预先决定让你看到的维度。割裂本身就是成本。 当你最焦虑、最需要快速定位时,你在三个工具间反复横跳、手工拼线索。
宽事件路线:围绕工作单元统一上下文
另一条路线(Honeycomb、以及”observability 2.0”的倡导者们主张的)是:别要三个筒仓,要一种足够丰富的原始数据——宽事件——让指标、日志、追踪都成为它的派生视图。
围绕每次请求在某个服务中的操作,或围绕每个 span,发出足够丰富的事件。事件可供聚合、查看上下文或组织追踪;采样、关联字段和模型要满足各自用途。它能减少部分拼接成本,但从采样事件估计总体,也需要正确的采样权重与误差认识。
这是 Honeycomb 等倡导者强调的设计路线,不是云原生的统一定义。另一条务实路线,是让指标、日志、追踪分工保存,再通过共同服务标识、trace context 与 exemplar 建立关联;OTel会展开其中的条件。
Honeycomb 与探索式分析
丰富上下文支持探索式分析(exploratory analysis):不只读取预先做好的仪表盘,还能提出新的分组与比较。仪表盘适合共同态势与稳定问题,探索查询适合继续追问,两者都可以参与一次排障。
在仪表盘发现变化后,你打开一个高维数据集,继续交互式地提问——按 app.version 分组看看?P99 高的都集中在 2.3.1?那在 2.3.1 里按 device.platform 再分?iOS 特别高?再按 geo.region 切……每一步都是即时的、自由的下钻。
Honeycomb 的 BubbleUp 是这类探索的例子:对选中的异常集合与基线比较属性分布,帮助找出差异显著的候选维度。这是缩小调查范围的线索,不是自动证明因果;版本与地域同时变化时,还要继续排除其他解释。
★ 故障剧场:看不见的那类用户
把这一切落到一个具体的故障上。
你发布了 2.3.1 版本。整体指标几乎没动:总错误率从 0.2% 升到 0.35%,P99 抖了一下就回去了——所有仪表盘都是绿的或接近绿的,因为受影响的用户被淹没在海量正常请求里。但客服开始零星收到”结账转圈圈”的投诉。
如果现有指标只保留总体,阈值又高于这次变化,告警可能不响。但若服务目标更严格,或保留了合理的版本/地域分组,指标也可能发现并缩小问题。为了定位个体直接加无界 user_id 标签,通常不是合适的补救。
用宽事件,你可以过滤失败操作,按版本、平台与地区比较。如果异常集中在“2.3.1 + iOS + ap-southeast”,就得到一个值得调查的群体。进一步核对 CDN 返回的配置与变更记录,才可能确认配置过期的原因。下钻给出候选解释,后续证据把解释变成结论。 这是思想实验,实际数据不保证三次查询就得到同样结果。
五、代价:可观测性不是免费的午餐
到这里,可观测性看起来像银弹。但 那把尺子提醒我们:没有免费的可见性。这一章,我们诚实地算账。
存储的账单与采样的选择
若对每个请求都保留大量属性,数据量通常随业务吞吐增长。是否值得,取决于事件大小、采样率、保留期、查询负载与节省的调查成本。不要拿一个没有共同测量条件的“数十到数百倍”当选型依据。
高吞吐系统常通过采样(sampling)、字段治理与分级保留控制成本:例如优先保留错误和慢请求,再留一部分正常样本作为比较基线。低流量场景也可能选择全量。头部与尾部采样各有什么偏差、丢失风险和架构代价,见 下一篇追踪。
工作方式的门槛
探索式分析要求工程师会提出、比较和排除假设。数据丰富却无人知道怎样使用,也会成为负担。可以从一个真实事故出发,把重复查询整理成共同的调查路径;成熟的路径再沉淀为仪表盘、检查或 runbook。探索产生经验,经验反过来减少下一次探索的成本。
规模的分水岭
01 强调的校准,在这里落到一个具体判断:过去哪些事故因缺少上下文而拖延,新增这些上下文能减少多少代价?小团队也可能有复杂外部依赖,大团队也可能有简单稳定的服务。投资应跟着诊断摩擦与故障损失走,不按人数划一条“需要可观测性”的线。
指标仍是能力组合的一部分
指标是可观测能力的重要组成部分,适合长期趋势与持续判断。事件数据也可以派生统计量,但覆盖、采样、误差和查询成本要明确。两者怎样组合,取决于同一个服务需要回答哪些问题。
正确的关系是分工与关联:指标帮助发现总体变化,事件和追踪解释个体差异,必要时再用 profile 观察代码资源。没有固定的查询顺序,也没有任何一种信号保证回答全部“为什么”。
六、小结:坐标与去向
可观测性在五维标尺上的坐标
用 那把尺子给可观测性定位,把前面三篇的证据选择接到同一张取舍图上:
| 维度 | 可观测性建设要回答的判断 |
|---|---|
| ① 预先判断与探索 | 哪些问题持续检查,哪些需要事后组合查询? |
| ② 信息粒度 | 聚合、个体、关联各保留多少,主动接受哪些盲区? |
| ③ 信号分工 | 宽事件与多信号关联分别减少什么拼接成本? |
| ④ 注意力阀门 | 让 SLO 与事件紧迫性指导行动 |
| ⑤ 仪器化负担 | 字段、上下文和采样要有人设计与维护 |
天平在这里增加的是探索空间。它没有自动倒向“机器知道一切”,而是要求我们更清楚地回答:为了下一次重要提问,这次应该留下什么?
去向
可观测性立起了”任意提问”的世界观,但它留下了几个具体的工程问题,正好交给后面几篇:
trace_id之外,还需要哪些父子关系、links 与时序,才能重建操作路径?span 怎么传播、采样怎么做?→ 06-分布式追踪-因果链的精确重建。- 可观测性帮你理解”为什么异常”,但”什么算正常、什么算异常”如何被数学地定义,好让你不再拍脑袋设 5% 的阈值?→ 08-SLO-把可靠性变成数学。
- 高维度宽事件要刻意埋点(前面讲过的代价),这笔仪器化成本怎么降到可承受、还不被某个后端锁死?→ 09-OpenTelemetry-三个信号的统一语言。
那个贯穿全系列的问题,在这里得到一个更具体的回答:为重要问题保留恰当的细节,用可承受的机器开销减少人的猜测。 下一篇,我们把关联推进到操作结构,看追踪怎样组织一次请求的旅程,以及它在哪里会断。
实践收束与来源
找一件过去排查费时的故障,列出当时想问却答不出的问题。逐项标明缺字段、缺关联、缺样本还是查询太慢,再选择最小补充;在下一次受控复现中,验证新增证据是否减少调查步骤。别把“字段变多”当成验收结果。
- OpenTelemetry:Observability Primer:可观测性、仪器化与信号的关系。
- Honeycomb:Observability 2.0 与 1.0 的数据模型差异:宽事件倡导者的一手论述,属于具体设计主张。
- Honeycomb:BubbleUp:属性分布对比的使用边界;产品行为需按版本核对。
来源与产品表述按 2026-10-12 的文档核对;故障剧场为教学场景,未宣称已在本实验台复现。
返回 可观测性与运维工程 MOC | 上一篇 04-日志-结构化事件的叙事力量 | 下一篇 06-分布式追踪-因果链的精确重建