SLO:把可靠性变成数学

上一篇,可观测性的四类信号——指标、日志、追踪、持续分析——全部就位了。你现在有多种方式理解系统:多少、发生了什么、调用走到哪、资源花在哪。但有一个最基本的问题,前面七篇一直没正面回答:

到底什么算“可靠”?什么程度的故障,值得在半夜叫醒一个人?

03 我们追问过:“错误率 5% 凭什么?”这一篇要回收这个伏笔。SLO(Service Level Objective)给出的办法,是把可靠性从一个感性的、靠资历拍板的判断,变成一套能算、能协商、能驱动行动的约定。数学负责算清后果,人负责决定哪些后果可以接受。它不要求你先买齐四类信号:只有几个可靠指标,也可以从这里开始。

一、可靠性的悖论:越多越好吗

信号齐了,但“可靠”还没定义

四类信号让你更能看得见系统,但看得见不等于知道该不该担心。错误率 0.3%,是事故还是正常波动?延迟 P99 涨了 50 毫秒,要不要叫人?没有一个明确的“什么算好”,再丰富的信号也只是一堆等待解读的数字。SLO 要做的,就是给“好”下一个可计算的定义。

100% 的陷阱

直觉会说:可靠性当然越高越好,目标就是 100%。但把“永远不失败”写成工程承诺,会遇到三重困难:

  • 无法无限期保证:某个窗口里可以测到 100%,却不能由此保证未来永远如此。硬件、网络、代码和依赖都有失败可能。
  • 边际成本可能很高:多一个 9,往往意味着更多冗余、更快恢复和更严格的变更控制;具体代价取决于系统,并没有通用的指数公式。
  • 收益取决于服务承诺:偶尔延迟的内部报表和不能丢失的账务记录,对失败的容忍完全不同。用户不在意的提升可能不值得投入,关键数据与高损失场景则可能值得付出很高成本。

所以问题不能停在“怎么达到 100%”,而要继续问:我们为谁保住什么,多可靠才够,额外的可靠性值多少钱? 这正是 人与资源之间的校准。Google SRE 的 SLO 实施方法也从用户需要与工程投入的关系出发,而不是把更多个 9 当成普遍目标。

SLO 的根本动作:给可靠性设一个数字

对可以用比例衡量的服务体验,设定明确的目标与窗口。例如:“每个滚动 30 天窗口,至少 99.9% 的有效结账请求成功。”

一旦目标低于 100%,你就承认了一个有限的失败空间。承认风险存在,才能把它纳入管理。 但这不是批准随意制造失败,也不能用一个可用性预算替代数据正确性、安全和恢复能力的要求。先把三件套理清楚。

二、三件套:SLI / SLO / SLA

SLI:按约定测到的服务表现

SLI(Service Level Indicator),是实际测量的服务水平指标。本文采用一种便于统一计算的形式:

SLI = 好的事件数 / 有效事件总数
 
可用性 SLI = 成功的有效请求数 / 有效请求总数
延迟 SLI   = 在 300ms 内成功完成的有效请求数 / 有效请求总数

SLI 可以由指标、访问日志或用户端观测计算。它是按测量口径得到的事实,不是天然完整的用户体验:服务端看不见从未到达它的请求,服务端的 200 也不一定意味着用户目标完成。

因此,分子之外,必须把分母说清楚:是否包含重试、超时、主动取消、限流、4xx、探针和内部调用?在哪里计数?哪些失败没有被这个观测点看见?不能先排掉难看的请求,再宣布可靠性达标。

SLO:你给服务定的目标

SLO(Service Level Objective),是对 SLI 的目标约定:

SLO:结账可用性 SLI ≥ 99.9%(每个滚动 30 天窗口)

SLI 是“实际多少”,SLO 是“目标多少”。SLO 可以是内部工程目标,也可以对外公布;它的作用是驱动可靠性投入、变更和响应决策。一个没有负责人、没有后续行动的数字,只能算展示项。

SLA:带有后果的服务约定

SLA(Service Level Agreement),是服务提供方与客户之间的约定,可能规定未达标后的服务抵扣、补偿或其他后果。具体义务取决于实际协议,不能由一个百分数自动推出:

SLA 示例:按协议口径计算的月度可用性低于约定值时,可申请服务抵扣。

工程上,内部 SLO 常设得比 SLA 更严格,以留出缓冲。前提是两者的统计窗口、有效请求、排除项和测量位置可比较。SLI 是观测值,不是比 SLO 更松或更严的第三条目标线。 三者的区别见 Google SRE:服务水平目标。

怎么定义有意义的 SLI

从用户旅程出发:用户来你的服务,是为了完成某件事——加载页面、提交订单、看到搜索结果。SLI 应该测量这件事成没成、快不快、结果对不对。内部平台也有用户,只是用户可能是另一个团队。

CPU、内存、连接数有诊断与容量价值,却通常不能直接代表用户体验。为结账选成功率,为数据流水线选新鲜度或正确性,为存储选持久性——先写服务承诺,再找能支撑它的测量。

三、error budget:可靠性变成一笔预算

99.9% 的另一面

盯着“99.9%”看久一点,你会看见它的另一面:目标容许的坏事件比例是 0.1%。 这就是 error budget(错误预算) 的起点。

预算比例是 1 - SLO;具体预算的单位由 SLI 决定。请求型预算是请求数,时间型预算才是时间。量纲没对齐,后面再漂亮的数学也会算偏。

算一笔账

若采用时间型可用性、按均匀时间单位统计,以 30 天为窗口:

SLO允许坏时间占比30 天坏时间预算日均等价值
99%1%7.2 小时14.4 分钟
99.9%0.1%43.2 分钟1.44 分钟
99.95%0.05%21.6 分钟43.2 秒
99.99%0.01%4.32 分钟8.64 秒

“日均”只是帮助理解,不能当成每天重新发放的额度。若采用请求型 SLO,窗口里有一千万个有效请求,99.9% 对应的是一万个坏请求。高峰停机一分钟与深夜停机一分钟可能消耗完全不同的预算,不能直接套用 43.2 分钟。

多一个 9,容错空间缩小十倍——这件事是确定的。为了得到它要多花多少钱,则需要回到自己的架构和故障记录去算。

预算的用法:支持有收益的受控风险

error budget 把可靠性变成一个可以参与决策的工具:

  • 预算充足时:有空间推进收益明确的变更,但仍要考虑影响范围、灰度、回滚和恢复时间。预算不是“必须花完”的任务,没烧完也不自动等于浪费。
  • 预算紧张或耗尽时:依照事先约定的政策调整发布节奏、优先修复稳定性问题。安全修复、紧急缓解、例外审批与恢复发布的条件,也应预先说清。

对于滚动 30 天窗口,旧数据逐步移出、新数据逐步进入,没有全体预算在某一天同时重置的时刻。恢复服务也不会抹掉已经发生的失败。固定自然月则有不同的记账边界,两种方式不要混讲。

Google SRE 的错误预算政策示例展示了如何把预算关联到发布与改进,但具体政策必须适合自己的组织,不能只复制“冻结发布”四个字。

它让 dev 与 ops 看同一本账

开发团队想快,运维团队想稳;当两边只看各自的指标,争论很容易变成谁也说服不了谁。

error budget 提供了一本共享的账。预算够,开发有理由讨论增加变更;预算紧,运维有证据要求调整节奏。它不能自动化解利益冲突,却能让争论围绕用户影响与可承受风险展开。可靠性从抽象的道德高地,变成一种能够共同讨论的工程约束。 这是 SLO 在 “人与资源”这条线上最漂亮的一击。

四、重新定义告警:从阈值到 burn rate

回收“5% 凭什么”

答案不再只是一句“经验上差不多”,而是:这个错误率持续下去,会怎样消耗我们约定的容错空间,还给我们留下多少响应时间? 同样的错误率,对不同 SLO 意味着不同的紧迫性。

不过,预算不是唯一判据。数据损坏、安全事件或即将不可恢复的故障,可能需要在可用性指标变差之前行动。人的注意力应该花在需要及时采取行动的影响与风险上。

原因告警 vs 症状告警

  • 基于原因或资源状态:CPU 高、磁盘逼近写满、证书将到期。这些信号需要解释它会造成什么影响、留给人多少处置时间。
  • 基于症状:关键操作失败率、达标延迟比例等服务表现恶化。它们通常更接近用户影响,但仍依赖 SLI 的测量覆盖。

实践纪律是:page 优先针对需要立即响应的用户影响或迫近的高损失风险;可等待的问题进入工单;诊断数据留在仪表盘与查询里。 不要把它缩成“原因绝不能告警”。这与 Google SRE 对告警和诊断的区分一致。

burn rate:烧损速率

对比例型 SLO,可以把坏事件比例相对于预算比例归一化:

burn rate = 观测窗口的坏事件比例 / (1 - SLO)
 
SLO = 99.9% 时:
错误率 0.1%  → burn rate = 1
错误率 0.2%  → burn rate = 2
错误率 1.44% → burn rate = 14.4

1 表示以目标容许的比例发生失败,不等于“没有问题”,也不代表剩余预算充足。在流量近似均匀、从完整预算起算的估算下,14.4 对应约 50 小时耗尽 30 天预算,或一小时消耗其约 2%。

请求量明显变化时,真正的预算消耗还要看窗口内坏请求数与总请求数。burn rate 是把风险归一化的尺子,不是能无视流量和剩余余额的倒计时。

多窗口多燃烧率

只看短窗口,容易被小样本和瞬时波动牵着走;只看长窗口,故障结束后又可能迟迟不恢复。一个常用的 30 天 SLO 起点是:

响应长窗口短窗口两窗口都超过的 burn rate
Page:快燃烧1 小时5 分钟14.4
Page:较慢燃烧6 小时30 分钟6
Ticket:持续渗漏3 天6 小时1

组内用 AND,组间用 OR。 长窗口约束累计影响,短窗口确认问题仍在持续并缩短恢复告警的等待。6 小时这一组仍可以 page,不能仅凭“慢窗口”就断定只开工单;应根据值班响应能力调整。参数来自 Google SRE:基于 SLO 告警,它们是调校起点,不是适用于所有服务的常数。

★ 故障剧场:规则怎样决定打扰人

以下是帮助理解规则的假设场景,不是实测记录:

  • 一次小波动,对长窗口影响很小,随后恢复。若两窗口没有同时过线,规则不触发;但不能据此声称所有 90 秒故障都不该告警,严重程度与请求量同样重要。
  • 一次坏部署让错误率稳定在 30%。若此前一小时完全健康、请求率恒定且数据无缺失,对 99.9% SLO,快组长窗口约在 1h × 1.44% / 30% = 2.88 分钟 后过线;短窗口同时满足,随后再叠加采集、规则评估和通知延迟。

后一个场景里用户已经受影响。告警的目的,是让团队及时缩小影响与恢复服务。规则替人执行了预先协商的判据,判据本身仍需要从事故和噪声中反复校准。

五、实践与边界

落地:用 PromQL 算坏请求比例和 burn rate

下面是教学规则,统一使用 job="checkout-service"。假设 http_requests_total 覆盖有效请求,以 status=~"5.." 暂代坏请求,并预先初始化零值的错误序列。它只覆盖被服务端计数的 HTTP 失败;落地时应按前面的 SLI 契约纳入超时、用户端失败或业务失败。

groups:
  - name: checkout-slo
    rules:
      - record: job:slo_errors:ratio_rate5m
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-service", status=~"5.."}[5m]))
            / sum by (job) (rate(http_requests_total{job="checkout-service"}[5m]))
      - record: job:slo_errors:ratio_rate1h
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-service", status=~"5.."}[1h]))
            / sum by (job) (rate(http_requests_total{job="checkout-service"}[1h]))
      - record: job:slo_errors:ratio_rate30m
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-service", status=~"5.."}[30m]))
            / sum by (job) (rate(http_requests_total{job="checkout-service"}[30m]))
      - record: job:slo_errors:ratio_rate6h
        expr: |
          sum by (job) (rate(http_requests_total{job="checkout-service", status=~"5.."}[6h]))
            / sum by (job) (rate(http_requests_total{job="checkout-service"}[6h]))
      - alert: CheckoutErrorBudgetBurn
        expr: |
          (
            job:slo_errors:ratio_rate1h{job="checkout-service"} > (14.4 * 0.001)
            and
            job:slo_errors:ratio_rate5m{job="checkout-service"} > (14.4 * 0.001)
          )
          or
          (
            job:slo_errors:ratio_rate6h{job="checkout-service"} > (6 * 0.001)
            and
            job:slo_errors:ratio_rate30m{job="checkout-service"} > (6 * 0.001)
          )
        labels:
          severity: page
        annotations:
          summary: "结账 SLO 坏请求比例持续超过预算燃烧阈值"

这段配置展示的是坏请求比例,好请求 SLI 是 1 - 坏请求比例。告警路由、抑制重复通知、值班人和处置说明,还要另行接上。规则不是完整的通知系统。

边界一:无数据不是健康,低流量不是小号高流量

分母为零时比例没有定义;序列缺失时查询可能没有结果。二者都不能自动显示成“100% 成功”。至少区分:正常但没有请求、流量异常消失、抓取失败、指标根本没有生成。采集状态与黑盒探测要独立覆盖这些盲区。

低流量下,一次失败就可能造成很高的比例。需要按单次失败的损失选择更长的观察窗口、相关请求聚合或独立的合成探测;简单加“至少 N 个请求”会漏掉真实的低流量故障。人工测试流量也不宜不加区分地稀释真实用户失败。相关限制同见 SRE 的低流量讨论。

边界二:SLO 说“是否偏离目标”,不说“为什么”

当 burn rate 告警响起,它告诉你按当前口径衡量的服务表现值得行动,却不解释为什么。是哪个版本、哪类用户、哪一跳?

这时候回到 可观测性:用事件与日志下钻、用 追踪定位、用 持续分析找资源热点。先缓解用户影响,再调查原因;恢复后也要确认业务操作和数据状态,而不只是看曲线归位。

边界三:SLO 是社会契约,不只是技术

99.9% 还是 99.95%,谁决定?预算烧光了,谁有权调整发布?哪些紧急修复可以例外?这些都是组织契约。数学算得很准,组织却不愿行动,SLO 仍然只是装饰。

从少数关键旅程开始,让 SLO 少到能解释清楚,也不要把“少”变成漏掉正确性、持久性或重要用户群体的理由。组织层面的讨论见 MOC 第五节「运维的人与经济」中的导航。

实践收束:把一条 SLO 写到能执行

选一个真实的用户操作,写清负责人、测量位置、分子分母、目标窗口与缺失数据规则;用正常、失败、无流量、采集断开四种输入检查结果。再把告警接到响应动作和恢复判据,观察一段真实流量后调整。先让一条约定能指导行动,再增加第二条。

六、小结:坐标与去向

SLO 在五维标尺上的坐标

用 那把尺子给 SLO 定位。它不是一种新信号,主要拨动的是第四根标尺:

维度SLO 的作用
① 预先判断与事后探索先定义值得守护的结果,不必先猜中每一种根因
② 信息保留的粒度常可复用指标,也可能需要补足测量与保留期
③ 信号的分工给服务表现定义目标,诊断仍依赖其他信号
④ 注意力的阀门核心——把影响、预算与响应时间联系起来
⑤ 仪器化的负担取决于现有信号能否覆盖承诺,不能假定零新增

前面几篇在扩展“看得见什么”,这一篇集中处理“何时值得打扰人”。SLO 没有替人作出最后判断,却给判断装上了一把可以复查的尺子。人的注意力由此不必跟着每一根抖动的曲线跑,而可以围绕真正值得守护的服务承诺分配。

去向

可靠性有了目标,接着要看数据怎样可靠地抵达我们手里:

技术核对:2026-10-12,依据文中官方资料复核概念和规则;本篇配置与假设场景未在真实服务上运行,正式采用前需验证指标口径、规则行为与通知链路。

返回 可观测性与运维工程 MOC | 上一篇 07-持续分析-时间花在哪里的第四类信号 | 下一篇 09-OpenTelemetry-三个信号的统一语言