监控:预知故障的经典范式
上一篇立了一把尺子:运维是在人与资源之间校准,每一种范式都是五根标尺上的一组坐标。这一篇,我们看第一组坐标——监控,从可预设的检查与判据出发,把重复观察交给机器的方法。
标题里的“预知故障”,是一个入门视角:提前想清楚哪些状态值得持续检查。它不要求穷举全部故障原因。探针、用户操作成功率、延迟和任务完成时间,都能成为哨兵;有些哨兵发现的,恰好是我们没预料到的原因造成的损害。理解覆盖了什么、遗漏了什么,是这一章的起点。
一、哨兵的逻辑:监控在做一件什么事
一个监控检查的一生
设想最朴素的一个监控:你有一台 Web 服务器,你担心它会挂,于是你让监控系统每隔一分钟去 ping 它一次。
这件事拆开来,是一条完整的生命线:监控系统主动发起一次检查(ping 这台机器)→ 拿到结果(通了 / 没通)→ 和你预设的判据比对(连续三次没通就算”失联”)→ 触发状态变化(从 OK 变成 Critical)→ 按规则通知(给值班工程师发一条短信)。
Nagios、Zabbix、以及它们的无数后裔,本质上都在重复这一条生命线,只是检查的对象从”能不能 ping 通”换成”磁盘还剩多少”、“HTTP 返回码是不是 200”、“这个进程还在不在”。
监控的定义:把先验知识编码成”检查项”
请注意这条生命线的起点:是你,预先决定了去检查什么。
你为什么去 ping 这台机器?因为你预判”它可能会失联”。你为什么监控磁盘?因为你预判”磁盘可能会满”。每一个检查项,都是你脑子里一条”这里可能会坏”的先验知识,被翻译成了一行配置。
所以监控的定义可以收得很紧:本篇聚焦的检查式监控,是把人对服务的要求和系统的先验知识,编码成一组观测量与判据,让机器持续验证。 它把运维的认知负担放在了故障之前——你在部署时就坐下来,把系统会怎么坏想一遍,然后埋好哨兵。它可以与故障后的探索配合使用。广义监控还包括采集、趋势、比较与诊断;这里没有把这些能力排除在“监控”之外。
力量与局限同源
这就引出了贯穿全篇的一句话,也是监控这个范式最深的真相:
检查只能直接判断已定义的观测量;它能发现未知原因造成的已知症状,却不保证解释根因。
力量在于:少量稳定的判据能以可控成本反复检查重要目标。局限在于:未进入观测范围的用户操作、群体或时间尺度,可能被遗漏。结账成功率下降,可以暴露一个从未预判的依赖故障;但只检查端口可达,就不能据此证明结账正常。
记住这个”同源”。本篇第四节我们会看到,具体检查的收益与盲区,都要回到它的覆盖范围来理解。
二、经典实践:Nagios / Zabbix 如何把哨兵布下
抽象的范式必须落到工具上,否则就是空谈。我们用 Nagios 和 Zabbix——两个有代表性的监控系统——看哨兵到底是怎么布下去的。
谁来开口:agent 模型与 SNMP
要检查一台机器的内部状态(CPU、内存、磁盘),监控系统得有办法”问到”这些数据。有三条路:
- Agent-based:在被监控机器上装一个常驻程序。Nagios 用 NRPE(Nagios Remote Plugin Executor),Zabbix 用 Zabbix Agent——监控服务器连过去,agent 在本地执行检查脚本、把结果回传。优点是能拿到深层的本地指标,缺点是每台机器都要部署和维护一个 agent。
- SNMP:通常无需另装自定义主机 agent,使用设备已有的 SNMP agent 暴露的 SNMP(Simple Network Management Protocol)接口去 poll。网络设备(交换机、路由器)几乎都支持 SNMP,这是监控它们的标准方式。
- 远程检查:完全从外部探测,比如直接发一个 HTTP 请求看返回码,不需要进入机器内部。
这三条路的选择,本身就是第一次”人与资源”的权衡:agent 看得深但维护重,SNMP/远程轻便但看得浅。
谁来发问:主动检查 vs 被动检查
以 Nagios 术语看,哨兵分两种姿势;不同产品的 active/passive 命名不能直接套用:
- 主动检查(active check):监控服务器是发问方,按固定周期主动去 poll 每个检查项。Nagios 默认就是这个模式——调度器到点了就执行检查命令。简单、可控,但检查点一多,服务器的轮询压力线性上涨。
- 被动检查(passive check):被监控方是上报方,自己在事件发生时把结果推给监控系统。Nagios 通过外部命令文件接收 passive check,Zabbix 有 trapper 类型的 item。适合那些”事件驱动”的场景(比如一个批处理任务跑完后主动汇报成败),也能缓解中心轮询的压力。
在上述 Nagios 语境里,主动是调度检查,被动是接收外部结果。Zabbix agent 的 active check 则由 agent 获取任务并主动上报,不能把它按词面理解为中心来拉;trapper 也不是所有 agent 上报模式的统称。大型部署会结合多种采集方式。
一个 check 长什么样
把上面的话落成配置。下面是监控机本地磁盘检查的片段,需已有 host、时间段、联系人等完整配置。check_disk 在执行插件的机器上运行;要查远端主机,需另配 NRPE/SSH 等执行链,不能只改 host_name。
define command {
command_name check_disk
command_line $USER1$/check_disk -w $ARG1$ -c $ARG2$ -p $ARG3$
}
define service {
host_name monitor-01
service_description Root Partition
check_command check_disk!20%!10%!/
check_interval 5 ; 每 5 分钟检查一次
retry_interval 1
max_check_attempts 3 ; 连续 3 次失败才算真的 Critical
}读这段配置,监控范式的全部内核都在里面:
check_disk是一个插件——Nagios 自己不知道怎么查磁盘,它调用一个外部小程序去查。整个 Nagios 生态就是”调度器 + 一大堆检查插件”。-w 20% -c 10%是阈值:剩余空间低于 20% 报 Warning,低于 10% 报 Critical。这两个数字,就是你”预判”的具象化——你预先判断了”磁盘剩多少算危险”。max_check_attempts 3是去抖:一次失败可能是网络抽风,连续三次才算数。这是为了对抗误报的工程经验。
Zabbix 的写法不同(它用 trigger 表达式,比如 last(/web-01/vfs.fs.size[/,pfree]) < 10),但思想完全一致:一个判据 + 一个阈值 = 一条预判。
谁被叫醒:通知、升级与抑制
检查变红之后,最后一步是决定打扰谁、怎么打扰。这一步直接花的是 那个最贵的稀缺品——人的注意力:
- contact / notification:谁该收到告警、通过什么渠道(邮件、短信、电话)。
- escalation(升级):按通知次数、间隔等条件扩大通知范围。若要实现“15 分钟未确认就转交下一值班人”,还需明确确认机制和相应值班系统的能力。
- downtime / acknowledgement:计划维护时配置停机窗口;事件被接手时记录确认。两者目的不同,还应明确到期、恢复通知与重新升级条件。
这套机制朴素,但它已经在回答第四维度的问题——什么时候、用什么强度,才值得打扰一个人。检查既可以针对资源,也可以针对用户症状。本篇第四节与 SLO 会继续问:判据是否对应重要影响,收到通知的人能采取什么行动?
三、检查成立的三个条件
一个检查能不能代表服务健康,要先过三个问题。这里检验的是具体设计,不是要求整个系统必须简单到能装进一个人的脑子。
条件一:观测量覆盖了什么
检查进程存活、依赖可达,还是用户完成了操作?三者都有用,却不是一回事。先把观测量与它支持的结论对应起来,才能知道哪里仍是盲区。
你不必事先知道数据库会因哪种组合条件变慢,才能用结账延迟发现异常。需要提前确定的是“结账是否成功、是否及时”这类重要结果。RED/USE 是组织这些观测量的方法,下一篇会展开。
条件二:判据有没有分清对象与时间
总体正常,不代表每个地域、版本、接口都正常。一次超时,也不代表持续故障。判据必须交代测谁、测多久、允许什么波动;维度太粗会掩盖少数群体,维度太细又可能引入稀疏数据和成本。
OK / Warning / Critical 是通知和状态机的离散表达,不意味着监控底层只能存布尔值。Zabbix 可以存数值历史,Nagios 插件也能输出性能数据。不要把最终的判断结果,误当成系统拥有的全部证据。
条件三:检查结果能接到行动
当判据越线,谁负责确认影响、谁有权限缓解、怎样判断恢复?一个没有行动路径的“Critical”,可能只是在增加噪声。
同时要检查哨兵自己:没有采到数据,是目标健康,还是检查任务已经停止?未知状态不能悄悄折算成成功。
四、最优与失效:覆盖范围决定答案
当问题被覆盖:稳定判据为何划算
成熟的检查能把重复劳动压给机器:低开销地持续测量,用明确条件决定何时需要人介入,保留变化轨迹辅助诊断。这里省下的是反复查看和记忆的注意力。
这层基础对小系统和大系统都重要。是否增加追踪或更丰富的事件,要看还有哪些事故无法解释、调查耗时是否值得,以及团队能否维护新增链路。服务少,也可能依赖复杂;服务多,也不意味着每条请求都必须全量保存。
当覆盖不足:“一屏绿色”究竟证明了什么
服务 A 的重试叠加服务 B 的 GC 停顿,用户超时,但主机资源还在正常范围。这不能证明“监控看不到未知故障”,只能说明现有检查没有充分反映用户影响。
如果同时测了用户侧成功率和端到端延迟,症状可能已经显现。随后定位重试、GC 与依赖关系,需要指标、日志、追踪等进一步提供证据。发现症状和解释原因,是一段接力。
★ 故障剧场:探针绿、用户红
先把一个具体的边界亲手做出来。下面是 Pod 配置中的探针片段,不是完整部署清单:
livenessProbe:
httpGet:
path: /healthz
port: 8080
periodSeconds: 10假设 /healthz 只验证进程可响应,而真实业务路径依赖数据库。在隔离实验环境使应用到数据库的连接暂时不可用,同时发起固定的业务测试请求。观察三个结果:/healthz、业务请求、数据库连接。
如果探针仍返回 200、业务失败,这证明局部存活不足以代表服务成功。如果探针也失败,应检查它实际上是否包含依赖检查;不能把不符合预设的结果删掉。
liveness 是重启决策的输入,不是完整的用户体验监控。 下游故障也不必塞进 liveness:盲目重启可能放大故障。应区分 startup、readiness 与 liveness,再用独立的用户症状监测覆盖真实操作。实验结束后撤销故障,用同一业务请求验证恢复;具体注入边界与记录方式见 实验台。
阈值与行动:问题不止是数字多大
阈值太宽可能延迟发现,太窄可能增加噪声。但选择“CPU 超 90%”还是“用户失败率持续升高”,先是观测对象的选择,随后才是阈值和时间窗口的选择。
症状和原因的区别,不在于有没有用阈值。 SLO burn rate 也使用阈值,它增加的是目标、预算和紧迫性的依据。资源耗尽预测等前置信号仍然有价值,应按可行动性与时间余量分流,而非一概取消。
五、范式不死:监控在云原生里的转世
读到这里你可能以为,检查与判据只属于旧系统。实际上,持续验证重要条件这件事,一直存在于现代平台里。 你每天用的云原生工具里,到处是监控的 DNA。这一章用三个最典型的转世,把这件事坐实。
健康检查的转世:Kubernetes 探针
Nagios 的 service check,在 Kubernetes 里转世成了 probe:
readinessProbe: # 没准备好就别给它导流量
httpGet:
path: /ready
port: 8080
periodSeconds: 5
livenessProbe: # 死透了就重启它
httpGet:
path: /healthz
port: 8080
failureThreshold: 3 # 连续 3 次失败才动手——还是去抖
startupProbe: # 慢启动的应用,先给它宽限期
httpGet:
path: /healthz
port: 8080
failureThreshold: 30把它和前面那段 Nagios 配置并排看:failureThreshold 与 max_check_attempts 都涉及重复失败的判定,periodSeconds 与 check_interval 都涉及检查周期,httpGet /healthz 与 check_command 都指定了检查动作;具体状态机和时间语义仍须分别理解。它们共享检查—判据—动作的结构——周期性地、主动地、按预设判据检查一个预先想到的健康点。不过动作语义不同:kubelet 控制启动、流量接入或重启,监控系统通常进入通知链路,两者不能互相替代。
主动探测的转世:blackbox_exporter
Nagios”从外部发个请求看通不通”的远程检查,在 Prometheus 生态里转世成 blackbox_exporter——专门做合成监控(synthetic monitoring)的组件:
modules:
http_2xx:
prober: http
http:
valid_status_codes: [200] # 预判:只有 200 才算健康
method: GET
tcp_connect:
prober: tcp # 探一个端口通不通
icmp_ping:
prober: icmp # 还是那个最朴素的 pingPrometheus 周期性地让 blackbox_exporter 去探一批 URL/端口,把”通不通、多少毫秒、返回码多少”变成指标。这就是开篇那个”每分钟 ping 一次”的现代版——主动、周期、外部探测,一行没变的范式。
阈值告警的转世:Prometheus + Alertmanager
Nagios 的阈值告警,在云原生里转世成 Prometheus alerting rule + Alertmanager:
groups:
- name: instance-health
rules:
- alert: TargetScrapeFailed
expr: up == 0 # 判据:目标抓取失败
for: 3m # 去抖:持续 3 分钟才告警
labels:
severity: critical
annotations:
summary: "{{ $labels.instance }} 指标抓取失败已持续 3 分钟"expr 是判据,for: 3m 是去抖,severity: critical 是状态分级——和 Nagios 那套一一对应。Prometheus 评估规则,Alertmanager 负责分组、路由、抑制和静默;轮值、人工确认与超时升级通常还需对接值班系统。up == 0 表示该次抓取失败,不直接等于用户服务不可用;同样的规则机制也可以评估用户成功率。
同一个 DNA
把这三个转世放在一起,结论很清楚:云原生没有抛弃监控,它把监控的范式内化成了平台的默认能力。 探针、合成监控、阈值告警,共同点仍是提前定义观测量、判据和动作。你还是在部署前列清单(写探针路径、设 alert 阈值),还是在用明确判据持续检验服务的一部分要求。
与 下一篇划界:这一章讲的是”检查 / 探针 / 阈值”这个判据模型的转世。而 Prometheus 真正革命性的部分——把一切量化成可查询的时间序列——那是另一个维度的事,留给 03。这里你只需记住:哪怕在最云原生的工具栈里,监控的范式依然活着,只是不再是全部。
六、小结:坐标与去向
监控在五维标尺上的坐标
用 那把尺子给监控定个位:
| 维度 | 检查式监控的取舍 |
|---|---|
| ① 预先判断与探索 | 提前定义判据,也可用通用症状发现未知原因 |
| ② 信息粒度 | 保存状态和必要测量;细节取决于具体采集配置 |
| ③ 信号分工 | 检查结果、指标和日志都可参与,不限于布尔值 |
| ④ 注意力阀门 | 按影响、风险、紧迫性与可行动性选择通知 |
| ⑤ 仪器化负担 | 人定义检查,模板与平台可减少重复维护 |
回到那架天平:检查式监控擅长把稳定、重复的判断交给机器。它的边界由覆盖范围和证据决定;扩大覆盖、增加上下文,也要付出维护与注意力成本。
去向
当需要量化趋势与分布,进入 指标;当需要在保留的上下文中探索解释,进入 可观测性。它们都可以在现有检查之上继续生长。
实践收束与来源
挑一个告警,把它写成五句话:测量什么;什么条件触发;影响哪个用户操作;谁能采取什么动作;怎样验证恢复。再分别测试目标失败、采集失败和无业务流量,确认三者不会被解释成同一种“绿色”。
本篇代码为机制片段,未构成已验证部署;实际运行需固定版本并补齐依赖配置。产品术语与行为按 2026-10-12 查阅的一手文档核对:
- Google SRE:Monitoring Distributed Systems:广义监控、症状/原因与告警。
- Nagios:Active Checks:检查的调度与执行。
- Zabbix:Passive and Active Agent Checks:agent 的两种通信方式。
- Kubernetes:Liveness、Readiness 与 Startup Probes:探针各自的动作语义。
- Prometheus:Alertmanager:通知路由、分组、抑制和静默的边界。
返回 可观测性与运维工程 MOC | 上一篇 01-运维的本质-在人与资源之间持续校准 | 下一篇 03-指标-时间序列的量化哲学