云原生可观测性:零侵入是如何做到的
上一篇结尾,OTel 让插桩更容易复用,后端选择也多了一些自由——但它留了个尾巴:你仍然要集成 SDK、挂上 agent、为业务逻辑补手写插桩。降低负担,不等于负担消失。
这一篇,要去看云原生的一类回答:尽量不改业务代码,让平台代劳通用观测。 服务网格、eBPF、自动插桩,分别从网络、内核、框架取得信号。它们常被放在“零侵入”这个名字下面,但不应因此被误解成不需要配置、不需要重启、没有开销。
这正是 仪器化代价那根标尺最值得细看的地方:付账的人和付账的位置变了,这笔账是否因此更划算? 看完,我们再回头看整本书的天平,而不是为某一种架构宣布终点。
一、仪器化的下沉:让平台替应用做一部分事
OTel 之后,还剩什么负担
把 OTel 的落地步骤摊开,仍有几件事必须有人做:在服务里引入 SDK 或挂上 agent、配置导出、确认框架支持,再为业务逻辑补上关键 span。服务多、语言杂、遗留系统多时,让每个团队独立完成这一套,是持续的协调与维护工作。
问题于是变成:其中哪些通用劳动,可以集中做一次,让多个团队受益?
把“零侵入”拆成四个问题
“零侵入”不是一个足够精确的部署承诺。看到这个词,至少要分别核对:
| 问题 | 要核对的实际动作 |
|---|---|
| 是否改业务代码 | 手动打点、引入库、上下文传播是否仍需要 |
| 是否改运行配置 | agent、容器注解、启动参数、网络和权限如何配置 |
| 是否重启或重新部署 | 代理注入、agent 加载、探针附着分别有什么条件 |
| 是否有运行开销 | CPU、内存、延迟、网络、存储与故障风险增加多少 |
有的 eBPF 方案可以动态附着而不重启应用;自动插桩常在进程启动时加载;sidecar 注入通常需要重新创建 Pod。具体条件由工具和部署模式决定。OTel 的 zero-code 说明强调的是由 agent 等机制添加能力,不是零运行成本。
仪器化标尺的下沉轨迹
把这一路连起来看,让系统开口的工作可以分配到不同位置:
业务手动插桩 → 表达关键操作与领域含义
框架自动插桩 → 覆盖支持的运行时与客户端库
代理网络观测 → 理解经过代理的连接或应用协议
内核与运行时探针 → 取得系统、网络或代码执行证据越往基础设施走,越容易统一提供通用能力,也越可能失去业务语义。这几层可以共存,不能只按“代码改得越少越先进”排序。 本篇讲的,就是哪些工作值得下沉,下沉后又要补上什么。
二、三类自动观测手段(各有覆盖边界)
服务网格:代理层的流量证据
服务网格把纳入其数据路径的流量交给代理处理,因此获得了一个观测位置。但代理的形态与能力不能混为一谈:
- Sidecar:如 Istio 的 Envoy sidecar,部署在工作负载旁边;对可识别且经过它的 HTTP/gRPC 流量,可提供请求数、延迟、响应状态和追踪相关能力。
- Ambient ztunnel:节点级 L4 数据平面,关注连接、身份与安全传输。它不是“换了名字的 HTTP sidecar”,不能单靠它取得 L7 请求延迟、状态码或 HTTP span。
- Waypoint:Ambient 中按需部署的 L7 代理,承担需要应用协议理解的策略与遥测。是否经过 waypoint,取决于服务和流量的配置。
L4/L7 的分工见 Istio waypoint 官方文档。不能把“启用了 Ambient”直接写成“拥有完整 L7 观测”。
这里还要接上 追踪篇的关键边界:代理能生成 span,不代表能替应用关联入站请求与它触发的出站请求。 应用或框架仍需传播支持的追踪上下文,否则你可能得到一批局部片段,而不是完整因果链。Istio 追踪 FAQ明确说明了这一要求。
网格常能提供流量、错误和延迟,饱和度还需要连接池、队列、资源等额外指标。流量绕过代理、协议不受支持或加密终止位置不合适时,也会留下盲区。服务网格看见的是它实际接管且能够解释的那部分流量。
eBPF:从内核与用户态探针取得证据
服务网格站在代理位置,eBPF 相关工具则可以借助内核探针、用户态探针和采样机制取得网络、系统调用或执行栈证据。许多场景无需给每个应用加 sidecar,但这不等于“内核发生的一切都自动可见”。
例如 Hubble 提供 Cilium 环境中的网络流可见性;其 L7 能力取决于相关协议观测与代理配置。Pixie 可以解析支持的应用协议,也可通过特定用户态探针观测支持的 TLS 库。它们的能力分别受内核、权限、架构、协议、语言运行时和库版本约束。Hubble 文档与 Pixie 数据来源表列出了具体支持范围。
特别是 TLS:在加密后的 socket 上看到字节,并不等于读懂了 HTTP 内容。要观察明文,可能需要受支持的加解密函数探针,或由代理在适当位置终止与重新建立 TLS。“用了 eBPF”不是绕过任意加密与协议边界的通行证。 开销同样要按采样率、吞吐和所采字段测量,不能继承一个通用的“1%”。
自动仪器化:框架层的补充
进程内自动插桩,往往更容易知道“这是一次数据库调用”“这是一次消息发送”,也能在支持的库里传播上下文。它需要 agent、启动配置或运行时集成,覆盖范围由库和版本决定。
这里的分层不是绝对墙:有的 eBPF 工具能解析数据库协议,有的代理也能理解更多 L7 信息。真正该问的是:我们使用的这个版本,在这个部署里,能稳定解释哪一种语义? 把支持表和实测结果放在架构图旁边,图才不会骗你。
三者如何组合
业务手动插桩:关键操作、失败含义、业务上下文
↓ 与以下通用观测关联
自动插桩:支持的框架与库调用、上下文传播
L7 代理:经过代理且可解析的请求与响应
L4/内核探针:连接、网络、系统与执行证据三者有互补,也有重复。多个地方为同一请求生成 span,可能增加噪声与成本;不同位置统计的请求数,也可能因重试和观测边界而不同。组合的目标是补齐需要的证据,不是凑齐三套工具。
三、自动观测的天花板:技术信号需要业务解释
它们看得到的:通用技术信号
状态码、延迟、连接失败、socket 字节数、调用栈……这些信号往往不要求采集器理解完整业务。正因为通用,平台才能把采集和默认展示集中建设。
但“通用”不等于没有解释力。连接被拒绝、DNS 解析失败、线程阻塞,已经可以帮助定位不少技术问题;不能一概说平台只看得见现象、永远不知道为什么。
它们不能自动补出的:领域含义
另一方面,网格看到 POST /checkout 返回 500,并不会自动知道这是优惠券规则、库存约束还是风控误判。即使工具能取得代码和日志,也需要有正确的业务知识与证据才能解释。
更隐蔽的情况是:协议返回 200,但金额算错了;任务显示成功,却漏处理了一批数据。请求成功与用户目标成功之间,仍有一层需要我们明确表达的含义。 平台可以承载这些含义,不能凭空发明它们。
★ 故障剧场:网格看见 500,业务证据解释失败
设想结账服务已经接入 L7 观测。某次发布后,/checkout 的 500 率升到 8%,平台帮你看见受影响的服务和请求;若上下文传播正常,还能继续查看相关调用。
进一步排查发现,新版本把一类过期优惠券的正常拒绝错误地变成了异常。要区分“用户输入不满足规则”和“服务处理出了错”,需要相应的业务证据:已有结构化异常日志、业务结果计数,或 span 上的 checkout.failure_reason、coupon.rule_version 等受控字段。
这不一定意味着再手写一份重复埋点。先看现有日志是否已经表达,再补真正缺失的语义;避免把完整优惠券、个人信息或无限增长的 ID 随手塞进指标标签。重点是让失败能被解释,而不是让遥测数量继续增长。 这是一个假设案例,不是对具体系统运行结果的描述。
结论:平台铺底,应用补语义
- 平台提供通用能力:采集、传输、存储、关联、默认仪表盘和运行规范,帮助团队快速获得基础证据。
- 应用团队表达服务承诺:关键业务操作、失败含义、正确性条件和需要保留的上下文,并验证这些信息是否真的进入了管道。
平台铺的是可复用的底,应用补的是领域里的关键点。两者加起来,才可能既降低重复劳动,又保住解释能力。少写代码很有价值,理解业务的责任仍然需要有人承担。
四、平台化:把可观测性变成默认能力
谁来承担:从重复劳动到共同维护
每个团队都独立选择 agent、建立字段规范、维护查询与告警,会产生许多重复且参差不齐的劳动。平台化尝试把公共部分集中起来,让服务接入后就获得一组经过验证的默认能力。
默认不等于所有服务自动成功:仍要检查语言、协议、资源标识、网络接入、权限与业务语义。平台团队负责把接入路径做得简单,应用团队负责证明这条路径确实覆盖了自己的服务。成本的转移,应该伴随责任的明确。
LGTM 栈:一种可组合的交付方式
Grafana 生态提供了一组常见组合——LGTM:
L — Loki 日志存储与查询,以标签索引等机制组织数据
G — Grafana 查询、可视化与信号跳转的界面
T — Tempo 追踪存储、trace ID 获取与 TraceQL 查询
M — Mimir 面向规模与长期保存的 Prometheus 兼容指标后端它是一种选择,不是云原生观测必须遵循的事实标准。Tempo 也不能继续被概括成“只能按 trace ID 查找”;当前 TraceQL可以按 span、资源属性和结构关系查询。
这组缩写覆盖三类信号与展示入口;持续分析还需 Pyroscope 或其他支持的后端。小系统可能根本不需要 Mimir,多租户、大规模和保留期要求才决定是否引入更多组件。统一界面降低切换成本,后面的存储、权限、容量和故障仍然需要分别管理。
数据可以走 OTel,也可以保留合适的原生路径
网格指标常由 Prometheus 抓取,追踪可以经 OTLP 导出;Hubble 等工具也有自己的事件流、API 或指标端点。它们并不是默认把所有信号都用 OTLP 发给 Collector。
OTel 可以成为共同管道的一部分:有兼容 receiver 就接入,需要转换就明确转换,原生路径更合适也可以保留。每条路径都要写清谁产生、谁采集、什么协议、进入哪种 pipeline、存到哪里。09 和 10 的连接点在这里,而不是一句“全部数据都走 OTLP”。
平台的制度成本:不是免费,是转移
那笔从应用团队手里接过来的工作,没有消失:
- 代理和采集器的 CPU、内存、延迟与升级维护。
- 内核、运行时和框架版本变化带来的兼容工作。
- 字段、采样、保留期、权限和成本的共同约定。
- 平台故障、遥测丢失和接入失败时的响应责任。
01 说过:可见性没有免费的,你只能选择怎样付账。平台化的目标是让专业维护与复用的收益,超过新引入的协调和运行成本。它是否划算,最终要看自己的账本。
五、取舍与边界
网格的代价
Sidecar 增加代理资源和数据路径;Ambient 改变了部署粒度与资源分配,加入 waypoint 后又有相应的 L7 成本。任何模式都不能只从组件数量推断最终性能,必须结合流量、策略、连接复用和故障方式测量。
若现有问题只是缺几项指标,仅为观测引入完整网格未必划算;若已经需要身份、流量治理和统一策略,观测可能是同一笔基础设施投入的附加收益。机制与架构取舍见 平台工程 MOC。
eBPF 的代价
eBPF 工具需要相应的内核能力、加载权限和支持环境;符号解析、运行时升级、丢事件与探针自身的资源消耗也要处理。在托管平台、受限容器或某些架构上,纸面方案可能根本无法部署。
所以“无需改代码”的收益,必须和探针维护、安全边界及观测覆盖一起评估。内核机制与安全模型,仍交给 平台工程 MOC 展开。
规模不是唯一分水岭
几个服务也可能因关键链路复杂而需要追踪;几百个服务也未必都需要相同的采样率或同一套代理。团队人数只是成本摊薄的一项因素,依赖复杂度、故障损失、现有平台和维护能力同样重要。
从最小能回答问题的组合出发:可以是指标与日志,也可以直接包含追踪或持续分析。等真实摩擦出现,再增加一层。平台的价值,是减少反复遇到的困难;不必为了符合架构图而提前制造维护工作。
实践收束:逐项验收“自动获得”的能力
选一个服务,列出当前确实能看到的请求、连接、调用和业务结果;记录哪些流量绕过代理、哪些库不受支持、TLS 在哪里终止、是否需要重启。用同一负载比较接入前后开销,再验证失败请求、上下文传播和采集器故障。需要时补最少的业务语义,并明确退出与回退方法。
“没有修改业务代码”可以是一项验收结果,“全景可见、成本为零”不应成为默认前提。
六、小结:坐标与阶段收束
云原生可观测性在五维标尺上的坐标
用 那把尺子给它定位:
| 维度 | 平台化观测的作用 |
|---|---|
| ① 预先判断与事后探索 | 扩大事后调查的证据基础,仍受事先采集与保留约束 |
| ② 信息保留的粒度 | 统一调整采样、索引和保留期,同时承担平台成本 |
| ③ 信号的分工 | 帮助跨信号关联,各类信号保留自身适用边界 |
| ④ 注意力的阀门 | 支撑 SLO 与告警治理,平台自身也需要维护和响应 |
| ⑤ 仪器化的负担 | 核心——把一部分重复工作集中到平台,应用保留业务语义责任 |
第五根标尺发生的是责任与成本的重新分配,并没有抵达一个无需付账的终点。省下来的应用劳动,是否超过平台新增的负担,才是值得持续复查的问题。
已有能力的收束:天平上的能力组合
从 监控走到这里,我们得到了一组可以组合的能力:
| 需要解决的事 | 可组合的能力 | 要付出的代价 |
|---|---|---|
| 及时发现重要变化 | 检查、黑盒探测、指标与 SLO | 定义承诺与测量口径,维护响应纪律 |
| 解释发生了什么 | 日志、结构化事件、追踪 | 字段设计、上下文传播、查询与存储 |
| 找到资源耗在哪里 | 指标、内部 span、持续分析 | 采样、符号、关联与解释 |
| 保留事后追问余地 | 高基数事件、适当保留期与采样 | 数据量、隐私、查询成本及遗漏风险 |
| 减少重复集成 | OTel、自动插桩与平台化 | 标准维护、兼容验证和平台运营 |
它们不是上一代退场、下一代接管的单向替换。指标可以与宽事件共存,手动业务插桩可以与 eBPF 共存,简单检查也可以保护关键承诺。机器资源的价格、系统复杂度和人的注意力都在变化,每个系统的汇率又各不相同。
运维,是在人与资源之间持续校准。 工具换了一茬又一茬,校准这件事没有改变:我们需要哪些证据来守住承诺,愿意为这些证据付多少钱,又怎样让它们真正减少人的反复劳动。
一颗 AI 种子:从分担采集到参与调查
平台替我们接过了一部分采集和集成工作。但信号进入同一个界面之后,仍然有人要判断先看哪里、哪些变化有关、下一步查什么。
如果机器也能参与这些工作,人的注意力会被怎样重新分配?我们省下的是重复调查,还是只是把它换成了另一种核验?下一篇,把 AI 放到这架天平上,看看怎样用具体任务与结果检验这次分工。
故事没完:把尺子带回自己的系统
技术、人和经济在这里重新汇合:谁为平台付账,值班人怎样被打扰,变更后怎样判断恢复,复盘怎样减少下一次的负担。这些组织与实践问题,见 MOC 第五节「运维的人与经济」中的导航,也将在 实验台里变成具体动作。
读到这里,我们有了一把尺子。把它放进自己的系统、自己的服务承诺和自己的汇率里,观察、行动、复核,再调整——那才是这本书真正开始有用的地方。
技术核对:2026-10-12,依据文中官方资料复核能力边界;未执行网格、eBPF 或平台部署,具体支持范围与开销仍需按所选版本和实际负载验证。
返回 可观测性与运维工程 MOC | 上一篇 09-OpenTelemetry-三个信号的统一语言 | 下一篇 12 · AI 辅助运维 | 实践篇 11-可观测性工程实验台