指标:时间序列的量化哲学
上一篇从状态检查进入监控:健康,还是不健康。但真实世界很少是非黑即白的。磁盘不是”满”或”不满”,它是”还剩 23%,而且过去一小时掉了 5%“;服务不是”快”或”慢”,它是”P99 是 340 毫秒,比昨天高了 80 毫秒”。
指标(metrics)就是把这种程度量化下来的信号。监控本来就可以同时使用状态、数值和事件;这里把指标单独拿出来,是为了看清这笔交易:我们怎样用少量数字保留总体变化,又在聚合时放弃了哪些细节?它换来了趋势、容量规划和精细告警的能力,也留下了一道无法靠聚合本身翻过去的墙。理解这道墙,是理解指标如何参与 可观测性的关键。
一、从布尔到数字:指标在做什么
状态检查说”坏了没”,指标保留”变化到什么程度”
一次 check_disk 检查可以返回 OK / Warning / Critical,也可以同时输出磁盘剩余量。前者把结果压缩成一道判断题,后者把测量留作一道计算题。
磁盘的可用百分比此刻是多少?一分钟前是多少?一小时前呢?你把这些数字连成一条曲线,就能看出趋势——若容量固定、消耗速率持续不变,剩余量大约还能撑多久。这个推算有前提,但它比等磁盘真正满掉,多给了人一段行动时间。
变化不在于”监控只看现状、指标才看趋势”,而在于状态摘要和连续测量保留的信息量不同。两者可以由同一个系统提供,服务同一次判断。
指标的定义:随时间记录的量
先用最常见的情形理解:一个数值型指标,在确定的维度组合下形成一条时间序列(time series)。
浮点样本的最小单元是 (时间戳, 数值)。按一个周期(比如 15 秒)抓取,把这些点排起来,就是一条序列。实际抓取可以延迟或缺失;指标也可以由事件累加后导出,不要求每一条原始事件落盘。现代 Prometheus 的 native histogram 样本还可以包含一个分布,而不只是单个浮点数。Prometheus 数据模型
力量与盲区同源
指标的力量和盲区是同一件事的两面,根源在于聚合:
指标擅长回答”多少、怎样变化”;被聚合掉的个体细节,不能仅靠这些数字还原。
它能告诉你”过去一小时有 1% 的请求超过了 1 秒”,也能按已经保留的地域、接口或客户等级切分。可是没有留下用户和请求身份,就无法从这个比率里反推出那 1% 的完整名单。Exemplar 可以附带少量相关请求的入口,它是通往其他信号的桥,不是聚合数字神奇地恢复了全部原始数据。
二、数据模型:时间序列的解剖
指标的全部哲学,都藏在它的数据模型里。把这个模型解剖清楚,后面的力量和边界就都是它的推论。
一条时间序列长什么样
在现代指标系统(以 Prometheus 为范本)里,一条时间序列由三部分构成:
http_requests_total{method="POST", status="200", handler="/api/checkout"} → [(t1, 1532), (t2, 1547), ...]
└── 指标名 ──┘ └────────────── 标签(labels)──────────────────┘ └──── 样本点序列 ────┘- 指标名(metric name):测的是什么——
http_requests_total。 - 标签(labels):一组键值对,给这个测量加上维度——这是 POST 请求、状态码 200、打到了
/api/checkout。 - 样本点(samples):
(时间戳, 值)的序列。
关键在于:指标名 + 一组具体的标签值,唯一确定一条时间序列。 {method="POST"} 和 {method="GET"} 是两条不同的序列。这一点看似平淡,却是后面”基数爆炸”的全部根源——记住它。
四种类型:counter / gauge / histogram / summary
不是所有的”数”都以同样的方式变化。指标系统区分四种类型,每一种对应一类被测量的物理量:
- Counter(计数器):在一次生命周期内只增不减的累积值——请求总数、错误总数、发送的字节数。原值可以表示启动以来的累计量;日常更常问每秒速率
rate()或窗口内增量increase()。进程重启可能归零,要让查询识别 reset;聚合多个实例时通常先对各序列求 rate,再求和。 - Gauge(仪表盘):可增可减的瞬时值——当前内存占用、队列长度、温度、在线连接数。它的值本身就有意义,你直接看它、对它求平均或最大。
- Histogram(直方图):保留观测值的分布。经典直方图把延迟计入
≤0.1s、≤0.5s、≤1s、≤+∞等累积桶:一个 0.2 秒观测会增加后三个桶,也会增加_count和_sum。桶边界一致的多个实例可以先合并分布,再估算 P50、P99;精度受桶宽限制。Native histogram 以复合样本表达分布,使用不同的查询写法,需核对采集库和后端支持。 - Summary(摘要):在客户端按预设窗口计算分位数,通常也是带误差的估计,不是天然精确。已算好的两个 P99 不能相加或取平均,拼成总体 P99;但它的
_sum、_count仍可用于聚合均值。
这四种类型的区分不是吹毛求疵——选错了,查询可能算错而不报错。尤其要区分”分布可合并”和”分位数可合并”。本篇后面的 _bucket 示例使用经典直方图,不直接套在 native histogram 上。Prometheus 直方图与摘要
预聚合的本质:落盘前丢掉了什么
现在触及指标最核心、也最容易被忽视的一个性质:预聚合(pre-aggregation)。
当你的服务每秒处理一万个请求,指标系统不会存一万条记录。它只会让 http_requests_total{status="200"} 这条序列的值,每秒加上对应的数量。一万个各不相同的请求——不同的用户、不同的参数、不同的耗时——在被计入这个数字的瞬间,坍缩成了一次 +N。这些没有另行保留的个体信息,就无法从这个计数器里恢复。日志、追踪或 Exemplar 可以另付一笔钱留住部分细节。
这就是”预聚合”:在存储之前,就把原始事件按维度聚合成数字。 这笔交易的账要算清楚:
- 收益:在标签集合和抓取频率固定时,存储成本主要和序列数、采样间隔与保留期挂钩。无论这条序列每秒被加 10 次还是 10 万次,它占的存储几乎一样——一串
(时间戳, 值)。因此总体量即使很大,存储也可能保持可控;但采集开销、查询范围和序列变化率仍要计入账本。 - 代价:你永远拿不回那些被坍缩掉的细节。而且,序列数本身成了新的成本变量——这就引出了**基数(cardinality)**这个贯穿全篇的成本变量:序列数取决于实际出现的标签组合;各维度取值数的乘积,是组合空间的上界估算。 实例数、经典直方图的桶数和标签不停换值产生的新序列,也会放大成本。本篇第五节我们会看到,这笔账如何失控。
三、经典实践:Graphite / StatsD 的分层世界
理论必须落到工具。Graphite、StatsD、RRDtool 代表了几种有影响力的历史设计。看懂它们怎么做,就能明白多维标签改变了哪些查询习惯;这些工具也没有因为 Prometheus 出现就一夜消失。
push 模型:应用主动吐数据
经典指标栈是 push 模型:应用自己在代码里,把测量主动”推”出去。最典型的搭配是 StatsD——应用发一个 UDP 包给本地的 StatsD daemon:
# 应用代码里,每处理一个结账请求就发一行
checkout.requests:1|c
checkout.latency:340|ms第一行是计数器加一,第二行是耗时 340ms。StatsD 在内存里按一个时间窗口(比如 10 秒)聚合这些事件——算出这段时间的请求数、平均/分位延迟——再把聚合结果转发给后端 Graphite 存储。注意:聚合发生在 StatsD 这一步,又是一次预聚合。UDP 少了逐条确认的往返,代价是数据可能丢失;这不代表应用与采集完全没有开销,也不能把 UDP 当成 StatsD 生态唯一的传输方式。StatsD 项目文档
分层命名:维度藏在名字里
Graphite 存储和组织指标的方式,是分层的点分命名——像文件路径一样:
servers.web01.cpu.load
servers.web01.disk.root.free
servers.web02.cpu.load
checkout.requests.count
checkout.latency.p99要”看所有 Web 服务器的 CPU”,你用通配符:servers.*.cpu.load。这套体系直观、好上手,在”一台机器一个名字”的年代非常顺手。
RRDtool:固定空间换可预期的磁盘
更早的 RRDtool(Round-Robin Database)把归档的空间预算在创建时写下来:例如分别设定保存最近一天的一分钟数据、一周的五分钟数据和一年的一小时数据。每个 RRA 按自己的精度和行数持续归并并循环覆盖;不是等细粒度数据过期以后,才开始生成粗粒度数据。给定数据源与归档布局时,单个 RRD 文件的空间可以预先确定。RRDtool rrdcreate
这是一个极聪明的资源取舍:用”较老的数据只保留较粗精度”换”单文件空间可预期”。 你预先安排了保留预算,代价是历史精度的逐级流失;新增数据源或调整归档,仍会改变系统总成本。这在磁盘金贵的年代是理性的——它把 存储这根标尺拨到了极致的资源端。
层级命名的限制:改变切分方式要付代价
如果只用分层名字表达维度,切分方式就会依赖命名约定。
servers.web01.cpu.load 里,机器和测量类型各占一个位置。要按位置做通配查询并不困难;难的是新问题需要”机房”和”环境”,而你既没有把它们写进名字,也没有维护外部映射。新增命名层级后,历史查询和告警还可能需要迁移。
路径命名需要约定,标签模型同样需要 schema。 后者降低的是组合已有维度的摩擦,无法补出从未记录过的维度。这里讨论经典路径式模型;Graphite 从 1.1.x 系列起也支持标签化时间序列和按标签查询,因此不能把这种历史设计直接等同于它当前的全部能力。Graphite 标签支持
四、云原生实践:Prometheus 的多维革命
Prometheus 把多维标签、PromQL、主动抓取与服务发现组合成一套广泛使用的指标工作流。它的重要性不在于给历史工具判胜负,而在于把”按哪些维度提问”变成了更自然的日常动作。
pull 模型与服务发现
Prometheus 反转了数据的流向:不是应用 push,而是 Prometheus 主动 pull(scrape)。每个被监控的目标暴露一个 /metrics HTTP 端点,Prometheus 按配置周期性地去抓:
scrape_configs:
- job_name: 'checkout-service'
scrape_interval: 15s
kubernetes_sd_configs: # 候选来自 Pod;下面只保留 app=checkout
- role: pod
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_app]
regex: checkout
action: keeppull 模型在云原生里有个决定性的好处:目标是动态的。 pod 起起停停、扩容缩容,靠 kubernetes_sd_configs 服务发现,Prometheus 自动发现新目标、丢弃消失的目标——你不用维护一份机器清单。这段只是服务发现概念片段,尚未给出认证、命名空间、端口筛选和网络条件,不能视作完整部署。
短命批任务可能在一次抓取前就结束,但不能见到短命任务就一律接 Pushgateway。它主要适合服务级批任务的结果指标,需要管理旧数据清理,也失去了直接抓取目标带来的 up 语义;机器级定时任务可考虑 node exporter textfile collector。选择 push/pull,要连同生命周期一起选。Prometheus:何时使用 Pushgateway
多维标签:把维度从名字里解放出来
这是革命的核心。同一个指标 http_requests_total,Prometheus 用标签显式携带多个维度:
http_requests_total{method="POST", status="200", handler="/checkout", env="prod", dc="us-east"}把它和前面 Graphite 的 servers.web01.cpu.load 对比:前面的路径式模型里,“哪台机器”占了名字中的一个位置,Prometheus 里它只是一个标签 instance="web01",和其他维度平权。维度从名字里被解放了出来,变成了可以在查询时任意组合、聚合、切分的自由变量。 前面那个”按机房分组看生产 Web 的 CPU”的问题,在这里只是一次普通查询——只要 dc 和 env 当初作为标签存在。
代价你已经预感到了:每一个标签组合都是一条独立的序列(回到前面那条序列的定义)。标签给了你自由,也给了你前面那个笛卡尔积——这把双刃剑,本篇第五节会见血。
PromQL:在维度上聚合与切片
有了多维数据,就需要一种能在维度上运算的查询语言。PromQL 就是干这个的。下面三个例子串起常见查询动作:
# 1. 每秒请求速率——窗口增量则使用 increase()
rate(http_requests_total[5m])
# 2. 按 handler 聚合后的错误率
sum by (handler) (rate(http_requests_total{status=~"5.."}[5m]))
/ sum by (handler) (rate(http_requests_total[5m]))
# 3. 从直方图估算 P99 延迟
histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket{job="checkout-service"}[5m])))读这三行,前面讲的类型知识全用上了:rate() 对付 counter,by (handler) 在维度上做聚合切片,histogram_quantile + by (le) 把多个实例的直方图先相加再算分位数——这正是前面说的分布能聚合、预计算分位数不能直接聚合。rate() 和 increase() 都会处理 counter reset,并对窗口边界外推,后者因此可能不是整数。PromQL 函数
RED 与 USE:到底该测什么
多维标签解决了”怎么存、怎么查”,但还有一个更前置的问题:该测什么? 漫无目的地埋指标,只会得到一堆没人看的曲线。业界沉淀出两套互补的方法论:
- RED(面向请求的服务):Rate(每秒请求数)、Errors(错误率)、Duration(延迟分布)。它是观察请求处理的起点;业务正确性、数据新鲜度等目标还需要自己的指标。
- USE(面向资源):Utilization(利用率)、Saturation(饱和度,比如队列等待)、Errors(错误)。它帮助建立资源瓶颈的假设,仍需结合负载、依赖和等待位置验证。
RED 看的是”服务对用户怎么样”,USE 看的是”资源对服务怎么样”。它们帮助你系统地选择观测边界,不要求提前猜中每一种根因。结账成功率下降,可能来自数据库、网络或代码;一个症状指标可以覆盖多种未预料到的失败。
用指标告警:recording rule + alert rule
指标的终点之一,是回到告警——但这次是建立在连续量之上的精细告警。Prometheus 用两类规则:
groups:
- name: checkout-slo
rules:
# recording rule:把贵的查询预先算好、存成新序列
- record: job:checkout_error_ratio:rate5m
expr: |
sum(rate(http_requests_total{job="checkout-service", status=~"5.."}[5m]))
/ sum(rate(http_requests_total{job="checkout-service"}[5m]))
# alert rule:基于上面的比率告警
- alert: CheckoutHighErrorRate
expr: job:checkout_error_ratio:rate5m > 0.05
for: 5m
labels:
severity: critical
annotations:
summary: "结账错误率超过 5%,已持续 5 分钟"把它和 02 的 Nagios 阈值对照:判断结构相似——判据(expr)、去抖(for)、分级(severity)。这里的结账错误率已经是用户症状,不是某个内部根因。> 0.05 只是教学阈值;“5% 凭什么、持续多久值得叫醒人”,需要在 SLO里由服务目标和预算回答。它还不是完整告警方案,通知路由与接收验证另需配置。
还有三个不能混成零的状态:没有流量、没有该序列、抓取失败。前者可能使分母为零,后两者可能使查询没有结果。应按业务约定处理低流量和零流量,检查错误序列是否初始化,并用 up、目标清单和 absent()/absent_over_time() 等另行发现采集缺口。不要把任意空结果补成零,再宣布用户没有遇到错误。Prometheus 埋点原则
五、边界:高基数的墙与”哪一个”的失明
指标如此强大,以至于人们总想让它回答更多问题。而它每一次说”不”,都指向同一道墙——预聚合。这一章,我们亲手撞墙。
★ 故障剧场:给指标加一个 user_id 标签
你的结账服务出了问题,你想知道”是不是某些特定用户受影响”。一个看似自然的念头冒出来:给指标加个用户维度。
# 改之前:少数几条序列
http_requests_total{handler="/checkout", status="200"}
# 改之后:每个用户一条独立序列
http_requests_total{handler="/checkout", status="200", user_id="8f3a..."}这是一个假设场景:若大批用户在观察窗口内活跃,序列预算又没有约束,Prometheus 可能出现内存上涨、scrape 变慢、查询超时,严重时 OOM。它不是一次已经执行的生产实验。
发生了什么?你的服务有一百万个用户。加上 user_id 之前,http_requests_total 也许只有几十条序列(handler × status 的组合);加上之后,组合空间可能达到 几十 × 一百万 = 数千万;实际序列数由出现过的组合决定,还要考虑实例和时间上的 churn。每一条序列都要在内存里维护状态、在磁盘上占空间。这就是基数爆炸——而它是 user_id 这一个标签亲手引爆的。
基数爆炸:为什么维度不能随便加
回到前面那笔账:method(5 种)× status(10 种)× handler(20 种)给出最多 1000 种业务标签组合,实际常少于这个上界;再乘实例数和桶数,就未必还是一笔小钱。加上百万级 user_id、每请求变化的 request_id 或未经模板化的完整 URL,组合空间会迅速失控。
所以实践纪律是:每个标签都要有用途、取值范围和序列预算。 状态码、地域、接口模板通常好管理;个体标识通常放在日志、追踪或 Exemplar 中。少量固定租户的独立统计可以有明确预算,“绝不能有高基数”不是数学定律,“不算代价就加维度”才是工程失职。
“哪一个”的失明
指标可以按已保留的用户分组定位影响群体,却不能凭空恢复未记录的用户名单、参数和代码路径。P99 本身还是一个估计量;看见它升高,既要检查样本量和桶边界,也要沿着日志、追踪或 Exemplar 去找具体请求。
你不可能仅从聚合后的数字,反推出所有聚合前的个体。 这条信息边界是真的;把它推广成”指标发现不了未知根因”,就越界了。一个稳定的用户症状指标,可能首先发现我们从未设想的失败。
指标也是可观测性的底座
指标帮我们以可控的资源成本,连续观察总体状态。它需要预先选择测量,但日志字段、span 属性和采样策略同样需要选择。区别是每种信号保留了什么、舍弃了什么,而不是一种只能预判、另一种可以全知。
指标、日志、追踪长期共存,是一笔主动的资源配置。 用指标发现影响、看趋势和做告警,再为值得追问的细节支付事件存储与调查成本,正是 可观测性的一种实现。
六、小结:坐标与去向
指标在五维标尺上的坐标
| 维度 | 状态检查这类常见实现 | 指标 |
|---|---|---|
| ① 预先判断与事后探索 | 预先定义检查,但症状可覆盖未知根因 | 预先定义测量,事后组合已有维度 |
| ② 信息保留的粒度 | 低信息量状态摘要 | 聚合换低成本,保留期和序列预算仍需控制 |
| ③ 信号的分工 | 快速判断某项条件 | 总体变化与分布,可连接个体证据 |
| ④ 注意力的阀门 | 可以面向症状或内部原因 | 同样可以面向症状或内部原因,由告警设计决定 |
| ⑤ 仪器化的负担 | 现成检查与定制脚本 | 现成 exporter、自动采集与业务埋点并存 |
指标常把天平压向较低的存储成本,同时让人以少量曲线掌握总体变化。它也会因为标签、仪表盘和告警失控而制造新的注意力负债。省机器,不自动等于省人;两边要一起校准。
实践收束:让一条曲线值得被相信
- 适用问题:先选一个用户操作及其成功率、延迟,再选择解释变化所需的资源指标。
- 采集约定:写明单位、统计起止点、标签范围、抓取间隔、桶边界和负责人;经典直方图跨实例保持桶边界一致。
- 失真检查:主动区分 reset、缺测、零流量、标签变化和分位数估计误差。
- 验收证据:用已知数量的成功/失败请求检查计数与比率,验证重启后的 rate、采集中断时的告警,以及通知是否到达负责人。
- 成本约束:观察活跃序列、序列增长、采集失败与查询耗时;新标签上线前估算,上线后用实际组合数复核。
以上是实践约定,本文配置片段只说明结构,没有宣称已在实验台运行通过。
去向
指标的边界,恰好定义了后面三篇要去的地方:
- 当你需要的不是”多少”,而是某个事件到底发生了什么——完整的上下文、参数、结果——你需要 日志。
- 当你不满足于”5% 凭什么”,想把可靠性从拍脑袋的阈值变成可计算、可协商的工程目标——指标之上会长出 SLO。
- 当你撞上前面那道”哪一个”的墙,决心保留个体、支持在已保留数据上继续提问——你就需要扩展 可观测性,付出高基数的存储代价,换取单靠这些聚合指标无法恢复的细节。
那个贯穿全篇的问题,最后一次:指标把天平推向了哪边?用有意识的聚合,换取可持续的总体视野。 我们放弃一些个体细节,换来长期保留和快速判断,再决定哪些地方值得补上其他信号。下一篇日志,把天平往”留下个体”的方向挪动一格。
来源与适用时间
本文的 Prometheus 数据模型、类型、查询函数与 Pushgateway 边界,以及 StatsD、Graphite、RRDtool 的相关能力按 2026-10-12 的官方文档核对。正文链接分别支撑这些技术事实;天平与汇率是本书组织取舍的比喻,不是产品性能结论。具体部署仍需固定组件与客户端版本后验证。
返回 可观测性与运维工程 MOC | 上一篇 02-监控-预知故障的经典范式 | 下一篇 04-日志-结构化事件的叙事力量