运维的本质:在人与资源之间持续校准

监控、可观测性、SLO、eBPF、OpenTelemetry——这些技术看起来在解决不同的问题,分属不同的年代,背后却是同一件事在反复上演:在”人的注意力”和”机器的资源”这两种稀缺品之间,找一个当下负担得起的平衡点。

这一篇不讲任何产品。它用“人与资源的汇率”来理解运维中的不同取舍。这是一把分析的尺子,不是对技术史的单一因果解释。理解了这个不变的内核,后续各篇文章就不再是一堆孤立的工具清单,而是同一根标尺上的一个个刻度。

一、困境:系统不可读

一屏绿色的悖论

一个服务变慢了。你打开监控仪表盘:CPU 正常,内存正常,错误率正常,磁盘有空间,网络不丢包。每一块图表都是绿的。

但用户在投诉。客服群里在炸。而你,看着一屏绿色,不知道哪里出了问题。

这不是一个罕见的事故现场,这是运维工程师的日常。它之所以令人不安,不是因为”监控失灵了”——监控运转良好,每一个它被设计去观察的指标都被诚实地报告了出来。问题在于:你想知道的那个东西,根本不在这些图表里。

你无法”读完”一个系统

为什么会这样?因为一个足够复杂的系统,你永远无法”读完它”。

一个现代的互联网服务,可能由数十个微服务、数千个容器、跨越多个可用区组成,每秒处理成千上万次请求,每一次请求都在几十个组件之间穿行。它的”内部状态”是一个高维到无法被人脑完整把握的对象——你不可能在任意时刻,知道每一个组件正在做什么、彼此之间正在发生什么。

于是你只能做一件事:从它主动发出或被动暴露的信号,去反推它内部正在发生什么。一条日志、一个指标的抖动、一段追踪的耗时——这些是系统从黑箱里漏出来的光,你靠这些光的形状,去想象箱子里的世界。

运维,天然是一个黑箱推断问题。你不是在”读”系统,你是在”猜”系统——只不过是有证据的猜。

运维的元问题

把这个困境收敛成一句话,它就是这一整个系列要回答的元问题:

一个你无法直接观察内部的系统,你怎么知道它是否兑现了服务承诺?出了问题,你怎么理解它、恢复它?

请记住这句话。监控是对它的一种回答,可观测性是另一种回答,SLO 是回答中关于”什么叫健康”的部分,eBPF 是回答中关于”怎么以更低代价去看”的部分。所有后续的技术,都是这句话在不同约束下长出的不同形状。

这架天平也需要一个支点:服务究竟要为谁完成什么事,失败会造成什么损失? 结账、代码推送、备份恢复,对延迟、正确性和可恢复性的要求不同。没有这个支点,省钱和省人都可能变成省掉了真正该保护的东西。

而要理解这些形状为什么不同,我们必须先看清:回答这个问题,从来不是免费的。

二、从认识论到经济学:为什么”看见”是一笔支出

本篇第一节把运维定义成一个认识论问题——如何认识一个不可直接观察的对象。工程师既要判断证据是否足够,也要为获取和维持这些证据付费。这一章要完成全篇最关键的一跳:把”如何知道系统状态”这个认识论问题,翻译成”如何分配稀缺资源”这个经济学问题。 这一跳立不住,后面整个框架就是空中楼阁。

没有免费的可见性

让系统”被看见”,永远要花钱。只是花的形式不同,藏得深浅不同:

  • 你想看一条指标?它要被采集、传输、存储、索引。一万个序列乘以一年的保留期,是实打实的磁盘和内存。
  • 你想要一条告警?它要在某个深夜打断一个工程师,消耗他的睡眠、他的专注、他对告警系统的信任。
  • 你想让一段代码报告自己的行为?要有人去写那行 tracer.startSpan(),要有人维护它,要有人在系统演进时防止它腐烂。

存储、注意力、人力——“看见”是一笔支出,而且账单永远存在,只是有时记在机器上,有时记在人身上。 这是本篇的第一公理,也是最容易被忽视的一条:人们谈论可观测性时,总在谈”能看到什么”,很少谈”这一眼要花多少钱”。

两种稀缺品

这些支出最终都落到两种稀缺品上:

机器的资源——存储、算力、网络带宽。它的特点是有限、可计量、明码标价。一份全量采样的追踪数据、一个不设上限的高基数标签,会直接变成云账单上的数字。

人的注意力——工程师的认知带宽、on-call 的精力、对系统的信任。它难以被一个数字完整计价,但可以通过值班负担、重复调查时间、误报与恢复成本观察。你没法给”一次半夜被误报叫醒”开发票,但它真实地消耗着团队最稀缺的东西:清醒的、愿意继续相信告警的人。

这两种稀缺品之间存在一种隐秘的兑换关系:你可以花机器资源去省人——让系统存下更多上下文,工程师就不必靠记忆和猜测排障;你也可以花人去省机器——让工程师精心设计只埋最关键的探针,系统就不必存下海量数据。

认识论的经济学转译

到这里,那一跳就完成了。本篇第一节的认识论问题——“我如何知道系统的状态”——在工程上还必须回答一个经济学问题:

我愿意在”机器资源”和”人的注意力”之间,以什么样的比例,购买多少可见性?

我把这个比例称为汇率。它是这一整篇文章的核心隐喻:在某个特定的时代、某个特定的团队、某个特定的系统规模下,“一单位机器资源”能换”多少单位人的注意力”,是有一个相对价格的。而一种运维范式,本质上就是在某个给定汇率下,关于”如何分配可见性预算”的一套方案。

为什么需要持续校准

如果汇率是固定的,那运维就是一道一次性的最优化题——算出最优解,从此照做。但汇率不是固定的。

系统的规模在变(昨天三个服务,今天三十个)。存储的单价在变(十年前的高基数是奢侈,今天是日常)。团队的人数和能力在变。业务对可靠性的要求在变。每一个变量都在悄悄重新定价那个汇率。

所以除了优化某个局部,我们还要做持续的”校准”——像校准一架始终在轻微漂移的天平,你不是调一次就完事,而是随着两端重量的变化,不断地重新找平衡。运维工程的成熟,不在于你找到了某个”正确的范式”,而在于你始终知道此刻的天平偏向了哪边、是否还配得上当下的汇率。

三、五个校准维度:取舍究竟发生在哪里

“在人与资源之间校准”听起来仍然抽象。这一章把它拆成五个问题。每一个问题,都对应一类可观察的成本、收益与盲区;后续各篇会反复回来,用具体技术回答它。

框架总览

维度要作的判断可以观察的证据
① 预先判断与事后探索哪些判断固化为规则,哪些保留给故障后的追问?发现时间、未解事件、重复调查步骤
② 信息保留的粒度哪些只保留聚合,哪些保留事件和关联?序列数、数据量、采样率、保留期与查询能力
③ 信号的分工当前缺的是哪种证据,哪些需要相互印证?告警到定位的路径、断链、符号缺失与数据盲区
④ 注意力的阀门何时 page、何时开工单、何时仅供诊断?用户影响、紧迫性、可行动比例、漏报与恢复时间
⑤ 仪器化的负担应用、框架和平台分别承担什么?开发维护时间、运行开销、覆盖率与升级成本

它们是可组合的取舍,不是从“落后”滑向“先进”的五条进度条。 一个小系统可以用低成本指标做很好的症状告警;一个复杂平台也需要少量手写业务埋点。成本与人的承受力,贯穿每一根标尺。

维度一 · 预先判断与事后探索

第一个问题是:哪些认知劳动值得提前完成,哪些要留到现场再做?

一部分可以提前固化。你知道代码仓库必须允许授权用户 push,知道某个任务应在截止时间前完成,于是把成功、时延或完成时间变成持续检查的判据。这让机器替人反复做稳定的判断。

另一部分只能在现场展开。用户报告某些请求慢,你要按版本、地域、调用路径逐步切分,比较正常与异常请求,提出再检验新的假设。保留充分的上下文,能减少这时的猜测与重复劳动。

“已知的已知、已知的未知、未知的未知”可以提醒我们保留探索空间,但不能把工具严格分到不同象限里。未知的根因,仍可能表现为一个早已定义的症状。 结账失败率能发现你没想到的故障组合;它未必告诉你组合里哪一项先出了问题。

所以这里没有一次性地把预判权从人交给机器。人仍要设计观测量、选择字段、解释结果;机器帮人持续测量、保留证据并执行可重复的分析。两者的分工,随着故障经验和系统变化不断调整。

维度二 · 信息保留的粒度(聚合 ↔ 个体与关联)

第二根标尺量的是:为了能事后提问,你愿意存下多细的数据?

一端是聚合。把大量请求计入 http_requests_total、把延迟计入直方图,你保留了数量与分布,却通常丢掉了具体请求的身份。收益是成本主要随序列数、采集频率和保留时间变化,不必与每秒请求数同步增长;代价是聚合结果无法完整还原个体。

另一端是保留事件与关联。日志和 span 留下请求相关的属性,你可以按已有的版本、平台、地区组合下钻。如果这些维度也进入了指标,指标同样能回答相应的聚合问题;真正的区别是当初保留了哪些信息、保留在什么粒度上。

基数是账单的重要变量,但不是唯一变量。指标和 Loki 索引标签要特别注意已出现的标签组合与序列更替;事件系统还要算事件量、字段宽度、索引方式、采样和查询成本。不同存储模型,不能用一张“高基数必贵”的价目表概括。

“存得起一切”从来不是目标。你要知道自己放弃了什么,并确认留下的证据足以支撑重要判断。

维度三 · 信号的分工(针对问题组合证据)

第三根标尺量的是:你动用几种信号,每一种买的是哪种洞察?

  • 指标适合看数量、比例、分布与趋势,也是告警和容量判断的重要基础。
  • 日志保留离散事件与上下文;带上关联标识,可以把分散记录连到同一次操作。
  • 追踪组织操作的父子关系、关联与耗时,帮助缩小到某条路径或某段操作;内部函数也可以有 span。
  • 持续分析按代码路径归因 CPU、分配或等待等资源,适合发现累计热点,并与负载和版本作对照。

这是一张分工图,不是四块互斥领地。日志可以聚合成指标,span 可以派生统计量,追踪与 profile 也可能关联。一种信号提供了线索,不代表它独自证明了根因。

每多一种信号,就多一种信息,也多一套需要维护的采集和查询路径。成熟度看它是否帮助你更可靠地作出行动,不看是否集齐四类信号。

维度四 · 注意力的阀门(紧迫性与可行动性)

前三根标尺都涉及机器资源。第四根直接花人的注意力:什么时候,才值得叫醒一个工程师?

CPU 超 90% 可能只是正常批处理;用户结账失败也可能发生在 CPU 很空闲的时候。因此,面向用户影响的信号,通常更适合作为紧急通知的起点。SLO把这种判断进一步接到可协商的目标和预算上。

但这不意味着原因类信号永远不能叫人。预计很快耗尽的磁盘、即将失效的关键证书、备份失败或监控链路失明,都可能要求在用户明显受损前行动。判断依据是风险是否具体、是否紧迫、收到的人能做什么,再据此选择 page、工单或诊断信息。Google SRE 的监控讨论也同时包含用户症状、资源饱和与预测性信号。

误报和漏报都会付出代价。告警太多会慢性消耗信任,漏报会延迟恢复;不能只追求“每条告警都可行动”,却把重要事故全静默掉。要一起看可行动比例、漏报、发现时间、恢复通知以及值班负担。

维度五 · 仪器化的负担(应用、框架与平台分担)

第五根标尺讨论一个更基础的问题:让系统开口说话这件事,由谁付成本?

  • 手动插桩把测量贴近业务语义:哪一步业务失败、哪类任务重要。它需要开发和维护,但往往是关键证据的来源。
  • 自动插桩拦截受支持的框架调用,减少重复劳动;仍需处理版本、启动配置、开销与传播边界。
  • 网格 / eBPF 等平台手段在代理或运行环境获得通用信号,减少应用团队的重复投入,同时把兼容、权限和维护责任交给平台。

这不是一条最后把成本归零的轨迹,而是成本与职责的重新分配。无代码改动、无重新编译、无重启、低运行开销,是四个不同承诺;某种工具满足其中一个,不代表全部满足。

五维怎样相互影响

五个维度共享预算和人的认知带宽,因此会相互影响,但没有“拨动一根,其余必然一起移动”的规律。

例如,增加追踪保留率,可能让排障更快,也可能让查询、采样和存储维护更重。引入统一采集平台,可能减轻应用团队负担,也可能让平台团队成为新的瓶颈。症状告警则完全可以建立在低成本指标上,不必先铺设全量高基数事件。

校准,就是把这种联动放到真实服务里检验。 问清楚收益落在哪里、代价转给了谁,再决定下一步。

四、汇率的漂移:三个观察视角

本书仍沿着经典方法、云原生组合和未来探索展开。这个顺序方便理解问题怎样被不断重新回答,但它是阅读框架,不是严格的历史分期,也不意味着旧方法退出舞台。

经典方法:把稳定判断交给机器

检查、指标与日志,把周期性测量、趋势判断和事件留存变成可重复动作。它们并非只能存一个布尔值,也能支持黑盒探测、症状告警与事后分析。

当这些证据已足够支撑服务目标,继续堆叠工具未必划算。它们在复杂系统里也不会消失——后面的新能力,往往就建立在这层基础上。

云原生组合:复杂度改变了问题与账单

动态实例、跨服务调用和频繁发布,会使仅看总体曲线越来越难以解释个体差异。探索式分析、追踪与持续分析,为这些问题提供更细的证据。

SLO帮助团队选择行动,OTel与平台观测帮助分担采集成本。它们之间有联系,却没有“必须全套上”的依赖。对象存储单价下降,也不代表网络、索引、查询和人的维护成本一起归零。

未来种子:AI 能否帮助校准本身

再往前看,AI/AIOps 正在探索把检索、关联分析、假设生成和部分处置交给机器。这值得成为本书的一颗种子,因为它追问的仍是同一个问题:人省下了多少注意力,机器多用了多少资源,判断是否更可靠?

这里先保留三笔账:推理与数据成本,人工验证建议的成本,以及错误建议或动作造成的损失。AI 可以提出“哪个变化值得查”的候选,候选要回到证据;从建议走到自动执行,还要面对权限、可撤销性与恢复验证。

这些评价问题在 AI 种子章中展开:选择一项调查工作,比较机器参与前后的证据、劳动与代价。它提出检验方法,不预设收益已经成立。成本治理和责任分工已经在今天的五个维度中,不必再等一个“未来时代”才开始。

五、结论:判断你自己的稀缺

如果这一篇只能留下一句可操作的话,那就是:运维范式的选择,不是追新,是测量你自己系统的汇率。

错配的两种死法

把范式用在错误的汇率上,有两种典型的死法:

  • 过度投资:尚未遇到相应诊断摩擦,就引入难以维护的全量采集与复杂平台——可观测性的运维负担可能超过它带来的洞察。这是浪费。
  • 投资不足:跨系统问题已经频繁发生,却没有足够的操作关联、上下文与排障工具——团队反复为同一种信息缺失付出调查时间。这是失明。

两种死法,都源于同一个错误:没有诚实地测量自己当下的汇率,就照搬了别处的坐标。

测量你的汇率

所以,在选型之前,先对着五根标尺做一次自检:

  1. 哪些问题已能稳定检测,哪些事故仍因证据不足而反复调查?
  2. 你真的需要请求级的细节吗,还是聚合趋势就够?(决定哪些聚合、哪些保留个体与关联)
  3. 你现在缺的是哪种洞察——“多少”、“发生了什么”、“为什么”、还是”时间花在哪里”?
  4. 你的告警是否可行动,有没有漏掉重要影响,工程师还信任它吗?
  5. 你的团队,仪器化的人力是瓶颈吗?

先写下关键用户操作、可接受的损失与恢复要求,再回答这五个问题。这些答案与实测证据,才是你系统当下的坐标。 范式不该从别人的博客里抄,该从这五个答案里长出来。

校准是持续动作

最后,记住本篇第二节那个词——持续校准,不停在一次优化。

你今天测出的汇率,明年就会变:服务变多了,团队变大了,存储更便宜了,业务对可靠性的要求更高了。每一个变量都在重新给那架天平的两端称重。所以范式选择不是一次性的决定,是一个随系统演进不断重做的动作。昨天正确的坐标,今天可能已经偏了。

通往全系列

后续各篇文章,是这五个校准问题的具体展开。每篇都要交代获得什么证据、承担什么代价,以及怎样知道这笔投入值得。读每一篇的时候,请始终带着这一篇给你的那把尺子,回到同一个问题:

这一步,把人与资源的天平,推向了哪一边?

这把尺子,就是这整个系列共享的脊椎。

实践收束与来源

给正在负责的一个服务写一页校准记录:关键用户操作是什么;目前最常因缺少什么证据而卡住;准备增加哪一个测量;预期减少什么调查或打扰;什么时候复查成本与收益。先改一个具体环节,再用同类问题前后的处理过程验证它。

“人与资源的汇率”是本书的组织视角。工程概念与例外可对照以下一手资料;引用它们不意味着五维框架是这些作者提出的:

返回 可观测性与运维工程 MOC