GitOps:Git 成为系统运行时的真相之源
一、引言
前三篇已经解决了三个核心问题:容器让交付可重复,Kubernetes 让编排声明化,IaC 让基础设施可版本化。但有一个问题还悬在空中——这些声明怎么到达集群?变更怎么被执行?谁来触发,谁来保证?
“代码即声明”已经成立。但”执行声明”这件事本身,也需要被纳入工程纪律。否则,精心设计的声明式系统,最终还是靠一条手动执行的命令来触发——工程纪律在最后一公里断掉了。
GitOps 是这个问题的回答。它不是一个新工具,而是一套已经被社区验证过的交付方法论:让版本化声明成为受管系统的期望输入,由代理拉取并持续对账。本篇以 Git 为声明库,但它不是数据库内容、密钥、镜像仓库或全部运行事实的唯一来源。OpenGitOps 原则
二、为什么:Push 模型的隐患,以及方向的翻转
传统 CI/CD 的 Push 模型
典型的传统 CD 流水线长这样:
flowchart LR Dev[开发者\n合并代码] --> CI[CI/CD 系统\nJenkins / GitHub Actions] CI -- "kubectl apply\n需要部署身份与权限" --> K8s[Kubernetes 集群] CI -- "示例:凭证存储在 CI Secrets" --> Cred[(部署身份\n及凭证)] Cred --> CI
方向是向外的:外部系统主动把变更推进集群。这套模式在小规模下工作正常,但有两个随规模增长而放大的根本性隐患。
两个根本隐患
第一个:凭证暴露。
流水线要操作集群,就必须获得部署身份。长期高权限 kubeconfig 放在 CI Secrets 里时,CI 被攻破会把风险带进集群。但 Push 不必然要求集群管理员权限:短期身份、限定 namespace 的 RBAC、准入规则和外部审批,都可以缩小授权范围。
更隐蔽的问题是把“能部署”误配成“能做任何事”。能创建任意 Pod 的身份可能借助 ServiceAccount、挂载或特权配置提权,因此需要同时控制资源、字段和执行环境。这是部署权限的设计问题,Pull 模型也必须解决。
第二个:交付状态不可知。
流水线里的 kubectl apply 返回成功,只代表 API Server 接受了你的声明。如果流水线到这里就结束,就不知道 Pod 是否启动、是否 CrashLoop、是否 Pending;即使随后加了 rollout 检查,也未必持续发现后来发生的漂移。Push 流水线可以补上健康门禁,但持续对账需要另外的机制。
声明被接受和服务可用之间有一条沟,交付流程必须明确由谁跨过去。
Pull 模型的翻转
GitOps 把方向反过来:不是外部系统把变更推进集群,而是持续运行的代理按轮询或 webhook 通知刷新声明,再与目标系统对账并执行 sync;代理常部署在集群内,也可以集中管理远端集群。
flowchart LR Dev[开发者] --> Git[Git 仓库\nConfig Repo] Git -- "轮询 / webhook 刷新" --> Op[GitOps Operator\n运行在集群内] Op -- "pull + sync\n持有目标系统授权" --> K8s[Kubernetes 集群] CI[CI 流水线] -- "提交受控变更 / PR" --> Git
权限模型的改变是:构建流水线可以不持有集群部署凭证,部署授权集中给对账代理。但 Config Repo 写权限也是间接部署权,不能因此降低保护。受保护分支、评审、AppProject 允许的仓库与目标、代理 RBAC 和准入策略必须接起来;管理远端集群时,代理仍需保存或获取远端身份。
Git 获得了运维语义
Pull 模型最深刻的副产品是:运维操作终于和代码变更拥有了同等的工程纪律。
当 Git 是真相之源:
git commit= 一次部署意图的提交,有作者,有时间戳,有 diffgit revert= 提交恢复某段旧声明的意图;它不保证运行环境可回退,更不会倒转数据库迁移或恢复丢失的数据git log= 声明变更历史;实际 sync、临时操作和云/API 行为仍须补执行审计- Pull Request = 基础设施变更的审批流程,可以 review,可以讨论,可以拒绝
“紧急扩容”不再是一条没有记录的 kubectl 命令,而是一个有 reviewer 的 PR。这让运维与开发可以共用评审、追溯和反馈方式;紧急路径仍要预先约定,而不是靠禁用一切人工修改来保证秩序。
三、GitOps 的核心机制
Git 作为 desired state store
这里需要澄清一个认知:Git 在 GitOps 里不是备份,不是文档存档,是系统运行时的输入。
Operator 按自己的刷新机制消费 Git,决定其受管对象的期望状态。etcd 保存 Kubernetes API 对象,Git 保存交付意图,两者不是互为完整副本:控制器生成的状态、HPA 副本数、外部密钥和应用数据,都可能由其他机制负责。
这个定位要求一个明确约定:对 GitOps 拥有并配置为自动收敛的字段,以已批准声明为准。是否自动同步、是否删除多余资源、哪些字段忽略差异,都需要配置。Git 也可能写错,API 和准入也可能拒绝;对账表达的是职责,不是“Git 说了现实就一定做到”。
Operator 循环:watch → diff → sync
GitOps operator 跑着一个和 K8s reconciliation loop 完全同构的循环:
loop:
git_state = 拉取 Git 仓库里的 manifest(期望状态)
live_state = 观察集群当前状态(现实状态)
if git_state != live_state:
sync() # 把集群往 git_state 收敛这不是巧合,是有意的设计继承。ArgoCD 本身就是一个 Kubernetes Operator,用 Application CRD 描述”哪个 Git 仓库对应哪个集群/namespace”,跑在 K8s 上,通过 K8s API 执行 apply。GitOps 是在 K8s reconciliation loop 之上再加了一层——K8s 负责让 pod 收敛到 Deployment 描述的状态,GitOps operator 负责让 Deployment 收敛到 Git 描述的状态。
Self-heal
Self-heal 让交付过程能处理部署后的配置漂移,而不只在合并时运行一次。
在 Argo CD 中,自动部署新的 Git 版本与纠正已有版本的 live drift 是两项配置:需要启用自动同步,并设置 selfHeal: true。prune: true 又是另一项,允许删除应用已跟踪但从目标声明中移除的资源,不是清理集群中所有“Git 没写”的东西。同步窗口、忽略规则、失败重试和权限也会影响动作。Automated Sync Policy
这不是为了禁止人救火,而是避免现场修改永久游离于声明之外。 应急时应先明确暂停哪一层对账、谁有权操作、何时回写和恢复;ApplicationSet 或上层 Application 管理的配置,还要在正确的所有者处修改,避免刚暂停就被上层改回来。
四、社区最佳实践全景
App Repo 与 Config Repo 分离
把制品构建和部署意图区分开,是组织 GitOps 的常见实践;是否物理拆成两个仓库,取决于权限与协作方式。
两个仓库,两种职责
App Repo(源代码仓库)
├── 存放:业务代码、单元测试、Dockerfile
├── 谁在用:开发者
├── 变更频率:高(一天几十次 commit)
└── CI 在这里触发,产出物是容器镜像
Config Repo(GitOps 仓库,也叫 Infra Repo)
├── 存放:Kubernetes YAML / Helm values / Kustomize overlays
├── 谁在用:平台工程师、DevOps、以及 CI 自动更新
├── 变更频率:低(一天几次正式部署)
└── GitOps operator watch 这个仓库为什么常常分开
一是变化节奏,二是授权边界。源代码和生产发布声明可能由不同人审批,分库容易分别设置权限。单仓库也能通过路径过滤和发布目录工作;代码提交并不必然导致实际资源变化,不能把每次刷新都等同于部署。
更重要的是职责边界:CI 的终点是”产出经过测试的镜像”,CD 的起点是”把这个镜像版本号写进 Config Repo”。两件事分开,各自清晰,互不干扰。
CI 与 CD 的重新定义
flowchart LR subgraph CI["CI(持续集成)"] Code[代码提交] --> Test[运行测试] Test --> Build[构建镜像] Build --> Push[推送到 Registry] Push --> UpdateTag[更新 Config Repo\n镜像 tag] end subgraph CD["CD(持续交付)"] Watch[Operator watch\nConfig Repo] --> Detect[检测到 OutOfSync] Detect --> Sync[sync 到集群] Sync --> Converge[K8s 完成收敛] end UpdateTag --> Watch
流水线的权限收缩
分离之后,CI 流水线只需要两个权限:推镜像到 Registry + 写 Config Repo。集群的 kubeconfig 不再需要出现在 CI 系统里。这减少了 CI 到集群的直接授权链;生产 Config Repo 的改动仍应走受保护的晋级流程。
多环境管理:社区收敛的两种模式
目录结构区分环境(主流)
config-repo/
├── base/ # 所有环境共用的基础声明
│ ├── deployment.yaml
│ ├── service.yaml
│ └── kustomization.yaml
└── overlays/
├── dev/
│ ├── kustomization.yaml # replicas: 1, image: :latest
│ └── patch-resources.yaml # 降低资源配置
├── staging/
│ ├── kustomization.yaml # replicas: 2, image: :rc-xxx
│ └── patch-resources.yaml
└── prod/
├── kustomization.yaml # replicas: 5, image: :v1.2.3
└── patch-resources.yaml # 生产级资源配置每个环境的 ArgoCD Application 指向对应的 overlay 目录,base 只写一份,差异用 patch 表达。
分支区分环境(较少用)
main 对应 prod,staging 对应 staging,dev 对应 dev。合并到对应分支触发对应环境的 sync。缺点明显:分支间 cherry-pick 容易产生漂移,“dev 有的改动 prod 没有”的情况很难察觉。
社区趋势是目录模式:所有环境的声明在同一个分支同一个视角里可见,变更历史在同一条线上,更容易对比环境差异,但仍须防止目录间遗漏或不一致的晋级。
Kustomize 与 Helm 的定位
两者解决的问题不同,不是替代关系:
Kustomize:纯 overlay 思路,没有模板语法,只是 YAML 的结构化”叠加”。base 写通用声明,overlay 只写和 base 的差异(patch)。适合环境差异小、以 K8s 原生 YAML 为主的场景。ArgoCD 和 Flux 都原生支持 Kustomize,无需额外安装。
# overlays/prod/kustomization.yaml
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
- ../../base
patches:
- path: patch-replicas.yaml
images:
- name: myapp
newTag: v1.2.3 # 只改这一行来发布新版本Helm:chart 打包,用 values.yaml 参数化所有可变部分。适合需要封装复用的复杂应用,或直接使用社区 chart 的场景(Prometheus、Nginx Ingress、cert-manager 等都以 Helm chart 形式分发)。
# Application 的 spec.source 片段;完整对象还需 metadata、project、destination
spec:
source:
repoURL: https://prometheus-community.github.io/helm-charts
chart: kube-prometheus-stack
targetRevision: 56.0.0 # 历史版本示意;实际先选择并验证受支持版本
helm:
valuesObject:
grafana:
enabled: falsevalueFiles(不是 valuesFiles)必须指向可解析的文件路径;不能假设本地 values-prod.yaml 自动出现在远端 chart 内。要从另一个 Git 仓库读取 values,需按 Argo CD 多源 Application 的 ref / $values 关系显式配置。这里用内联 valuesObject 保持示例闭合。Argo CD Helm
两者不互斥。常见组合:用 Helm chart 渲染出 manifest,再用 Kustomize 做最后一层环境级 patch——这种组合需要启用对应的渲染支持并固定工具版本;不要仅因两个工具都被支持,就假定任意嵌套方式默认可用。
ArgoCD vs Flux:选型依据
不是”哪个更好”,是”哪个更适合你的团队和场景”。
ArgoCD
核心概念是 Application CRD,一个 Application 描述”这个 Git 路径下的 manifest 应该部署到哪个集群的哪个 namespace”:
apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
name: myapp-prod
namespace: argocd
spec:
project: default
source:
repoURL: https://github.com/myorg/config-repo
targetRevision: main
path: overlays/prod
destination:
server: https://kubernetes.default.svc
namespace: myapp
syncPolicy:
automated:
enabled: true
selfHeal: true # 纠正受管字段的 live drift
prune: true # 删除本应用已跟踪、但目标声明中移除的资源
syncOptions:
- CreateNamespace=true示例中的 default Project 便于学习,生产要收紧允许的源、目标和资源类型;还需配置私有仓库认证。
适合场景:有 Web UI 可视化需求(多团队需要看到各自服务的同步状态);需要完善的多租户 RBAC;平台工程师希望给开发团队暴露一个友好的 GitOps 界面。
Flux
组件化的 GitOps toolkit:source-controller 负责拉取 Git / Helm / OCI 内容,kustomize-controller 负责 Kustomize reconciliation,helm-controller 负责 Helm release 管理,notification-controller 负责通知……每个组件独立、可替换。
适合场景:平台团队需要深度定制 GitOps 行为;不以工具自带 UI 为中心;希望以组件化 CRD 构造工作流(Flux 和 Argo CD 都能把自身声明放进 Git;自托管还需要独立的引导与恢复副本)。
核心判断:选哪个工具不是最重要的,重要的是理解 operator 模式和 pull 模型——这套思维在任何工具上都成立。从学习角度看,ArgoCD 的 Web UI 让同步状态更直观,适合入门。
渐进式交付:GitOps + Argo Rollouts
传统滚动更新(K8s 默认的 RollingUpdate)是全量替换——新版本逐步替换旧版本,但最终所有流量都打到新版本,出了问题影响全部用户。
渐进式交付在 GitOps 框架内做流量切割:先把一小部分流量发给新版本,观察错误率、延迟等指标,无异常再逐步扩大比例,最终全量。
Argo Rollouts 把发布策略变成声明,放进 Git。下例是策略骨架,省略了完整 Pod 模板,不能直接 apply;还需预装 CRD 与控制器:
apiVersion: argoproj.io/v1alpha1
kind: Rollout
metadata:
name: myapp
spec:
replicas: 10
strategy:
canary:
steps:
- setWeight: 10 # 有流量路由集成时表示目标流量权重
- pause: {duration: 5m} # 暂停 5 分钟;不等于自动完成健康分析
- setWeight: 30
- pause: {duration: 5m}
- setWeight: 60
- pause: {} # 暂停,等人工确认后继续
- setWeight: 100
selector:
matchLabels:
app: myapp
template:
# ... pod template没有 Ingress/服务网格等 trafficRouting 集成时,Rollouts 通常通过新旧副本数近似权重,不保证每个请求严格按 10% 分流。自动根据指标判断还需要 AnalysisTemplate 等分析配置,单纯 pause 不会替人判断健康。Argo Rollouts Canary
发布策略也能被审查,恢复路径也应提前演练。 故障时可以按预案暂停或 abort,随后修正 Git。git revert 只是交付旧声明;流量恢复取决于同步、控制器、旧实例和路由状态,更不能自动撤销已经完成的数据迁移。
五、GitOps 在整个体系里的位置
GitOps 不是孤立的工具,是把前三篇串起来的粘合层。
容器(01)提供了制品:镜像是 GitOps 交付的内容。CI 构建镜像、推到 Registry、把镜像 tag 写进 Config Repo——这是 CI 的终点,也是 GitOps 的起点。
Kubernetes(02)是执行环境:GitOps operator 本身是一个 K8s Operator,跑在 K8s 上,通过 K8s API 执行 apply。K8s 的 reconciliation loop 是 GitOps 的宿主——GitOps 负责让 Deployment spec 收敛到 Git 的声明,K8s 负责让 pod 收敛到 Deployment spec。
IaC(03)管理下一层:应用层用 GitOps(K8s manifest 在 Git 里,operator 负责 sync);基础设施层用 IaC(Terraform .tf 文件在 Git 里,CI/CD 负责 apply)。这是本系列选择的一种分工,并非工具能力的硬边界;GitOps 也能驱动基础设施控制器,IaC 也能管理 Kubernetes 对象。关键是同一对象、同一字段不要由两套流程争抢所有权。
完整的变更路径——端到端全景:
flowchart TD A[开发者 git push\nApp Repo] --> B[CI 流水线\n测试 → 构建镜像 → 推 Registry] B --> C[Registry\n存储新镜像] B --> D[更新 Config Repo\noverlay/prod 镜像 tag] D --> E[ArgoCD\n检测到 OutOfSync] E --> F[ArgoCD sync\nkubectl apply 到集群] F --> G[K8s 创建新 Pod\n按策略维持旧副本] G --> H[kubelet 拉取新镜像\nreadinessProbe 通过] H --> I[更新可用后端并逐步回收旧副本\n继续验证业务指标]
这条路径可以自动运行,也可以在生产晋级处保留人工门禁。要让它可追溯,就把源提交、镜像 digest、配置提交、同步记录与用户侧验证接起来;图里画出步骤,不等于这些证据已经自动存在。
六、故障剧场:亲手把它弄坏
以下在独立的可丢弃集群、Config Repo 实验分支与 Application 进行,不向生产 main 推送故障。示例统一使用 myapp-prod Application 与 myapp namespace,名称不代表生产授权。先记录 Git SHA、镜像 digest、同步/健康状态、正常请求与 controller 副本;每次故障都有恢复提交或恢复命令,超时或影响超范围就恢复。进入实验前,把 Application 的 targetRevision 指向自己的实验分支;COMMIT_SHA、LAB_BRANCH 均需替换。以下现象需要实测,不能当既有验收记录。
实验一:直接 kubectl edit,看 self-heal 纠正
# 前提:ArgoCD 的 Application 开启了 auto-sync + selfHeal
# 直接修改 ArgoCD 管理的 Deployment(改 replicas 或 image)
kubectl edit deployment myapp -n myapp
# 观察 ArgoCD UI 或用 CLI 查看
argocd app get myapp-prod
# 检查是否检测到 OutOfSync,同时记录实际时间
# 等待配置允许的 self-heal,记录实际延迟与 sync 结果
# ArgoCD 把 Deployment 改回 Git 里的状态
kubectl get deployment myapp -n myapp
# replicas 和 image 回到了 Git 里的值这个实验要验证的是:这个字段是否由 GitOps 拥有,偏差是否被识别,纠正是否真的完成。Git 刷新间隔与 self-heal 重试是不同的时钟,还受配置与故障影响;没有按时纠正,就检查策略、权限和控制器,而不是预写“三分钟保证”。
实验二:git revert 体验回滚语义
# 假设刚刚部署了一个有问题的新版本(v1.3.0)
# Config Repo 里的镜像 tag 是 v1.3.0
# 用 git revert 撤销这次变更
git log --oneline # 找到那次更新 image tag 的 commit hash
git revert COMMIT_SHA # 产生一个新的 commit,内容是"回到 v1.2.3"
git push origin LAB_BRANCH
# ArgoCD 检测到 Config Repo 变化,执行 sync
# 集群回滚到 v1.2.3对比手工”撤销”(直接 kubectl set image):git revert 是一个新的正向 commit,有作者,有时间戳,有 diff,有清晰的”我在什么时候因为什么原因回滚了”的历史。直接 kubectl 操作可以被 Kubernetes 审计记录,但不会自动补齐 Git 中的期望与回退理由。实验结束要核对目标 digest、就绪状态和业务结果;若新版本改了数据,先确认旧版本能读取。
实验三:把三种失败分开看
“坏声明”不是同一种故障。使用同一可丢弃应用,每次只做表中一项,恢复到正常基线后再做下一项:
| 注入位置 | 预期观察 | 不能据此推断什么 |
|---|---|---|
| YAML 缩进损坏或 Helm 渲染失败 | 目标声明无法生成,查看 comparison/render 错误 | 不能推断此前没有其他同步或 hook 动作 |
| YAML 合法,但 API 字段无效或被准入拒绝 | sync 中对应资源失败,检查逐资源操作结果 | 多资源同步可能已部分成功,不是原子事务 |
| Deployment 引用不存在的 ConfigMap | API 可能接受声明,Pod 在运行准备阶段失败 | Synced 不等于 Healthy,更不等于业务可用 |
# 在受控实验分支提交一种故障后,分别查看目标差异、操作结果和运行状态
argocd app diff myapp-prod
argocd app get myapp-prod --show-operation
kubectl get pods -n myapp
kubectl get events -n myapp --sort-by='.lastTimestamp'
# 恢复:修复或 revert 该实验提交,经同一流程同步,再核对原基线Argo CD 能把失败显现出来,也能配置顺序与健康门禁;它不提供跨资源事务回滚。Sync wave 能安排先后,不能把已完成的数据库迁移自动撤销。是否保留旧服务,要从更新策略、已成功的动作与实际请求判断。Sync phases and waves
实验四:应用控制器停机,GitOps 循环停了
停止 argocd-server 主要影响 API/UI,不等于停止对账。先查明安装方式;常见官方清单中的 application-controller 是 StatefulSet,不能假定是 Deployment。
kubectl get deployment,statefulset -n argocd
# 以下仅适用于已确认的单副本 StatefulSet 安装,且没有上层控制器自动恢复它
kubectl get statefulset argocd-application-controller -n argocd -o jsonpath='{.spec.replicas}'
# 记录原值后暂停,等待对应 controller Pod 完全停止
kubectl scale statefulset argocd-application-controller -n argocd --replicas=0
kubectl get pods -n argocd
# 向 Application 指向的实验分支提交一个实际、可恢复的镜像版本变更
# 观察 Git 已变、集群是否仍保留旧版本;不要只创建一个无内容的 commit
kubectl get deployment myapp -n myapp -o jsonpath='{.spec.template.spec.containers[*].image}'
# 恢复原副本值;本例原值为 1
kubectl scale statefulset argocd-application-controller -n argocd --replicas=1
kubectl rollout status statefulset/argocd-application-controller -n argocd --timeout=180s
argocd app get myapp-prod --show-operation预期新声明在控制器缺位时不会被它执行,恢复后再按同步策略对账;已有业务也可能独立发生故障。若 GitOps 管理自身或使用多副本分片,先明确上层所有权与所有控制器实例,不能照搬这个单实例实验。持续收敛依赖持续运行的控制器,控制器自身也要有可观测性与恢复路径。Argo CD 高可用组件
七、日常排障:GitOps 流程坏了怎么查
App 一直 OutOfSync
# 查看具体 diff 在哪里
argocd app diff myapp-prod
# 先区分同步差异与健康状态,二者可能独立
# 或者在 UI 里查看 diff 视图(ArgoCD UI 会高亮显示差异字段)
# 用 CLI 查看详细状态
argocd app get myapp-prod --show-operation常见原因:
- 有人直接 kubectl edit 了资源:检查自动同步、selfHeal、窗口与字段忽略规则,再观察纠正;也可在审查差异后手动 sync
- Helm chart 产生了不确定性渲染:某些 chart 会在每次渲染时生成随机字符串或时间戳,导致每次 diff 都不同——优先固定生成输入;确需忽略特定字段时用
spec.ignoreDifferences精确定位,并理解同步时是否启用RespectIgnoreDifferences=true。IgnoreExtraneous用于排除额外资源对整体同步状态的影响,不是字段级差异忽略,也不会自动阻止 pruning - 运行依赖缺失:Deployment 引用不存在的 Secret 时,对象本身可能已经 Synced,Pod 却出现
CreateContainerConfigError;这与目标资源本身 Missing 是不同问题
Sync 失败
# 查看 sync 操作的详细错误
argocd app get myapp-prod --show-operation
# 错误信息在 "Operation" 部分
# 也可以看 K8s 层面的事件
kubectl get events -n myapp --sort-by='.lastTimestamp'常见原因及处理:
| 错误 | 原因 | 处理 |
|---|---|---|
yaml: unmarshal error | YAML 格式错误 | 修复 Config Repo 里的 manifest |
already exists | 创建动作遇到同名对象;可能涉及 hook 生命周期或资源所有权冲突 | 先核对对象身份、所有权、资源跟踪与不可变字段;制定接管或迁移方案,不默认强制删除重建 |
is forbidden: User cannot create | ArgoCD Service Account 权限不足 | 核对目标是否本来就允许;仅在授权范围内修正所需 RBAC |
context deadline exceeded | sync 超时(资源太多或集群响应慢) | 先定位卡住的 API、hook 或健康检查,再判断是否调整对应超时 |
CI 产出了新镜像,但没有触发 sync
排查衔接断在哪一步:
# 第一步:镜像真的推到 Registry 了吗?
docker pull registry.example.com/myapp:v1.4.0
# 第二步:Config Repo 里的 image tag 更新了吗?
git -C config-repo log --oneline -- overlays/prod/kustomization.yaml
# 第三步:ArgoCD 检测到变化了吗?
argocd app get myapp-prod --refresh
# 第四步:有没有 sync 失败的记录?
argocd app history myapp-prod最常见的断点:CI 更新 Config Repo 的步骤静默失败了——比如 PR 没有自动合并(需要人工审批但没人审),或者 CI 脚本里更新 Config Repo 的命令失败了但没有被标记为关键错误,导致 CI 整体显示绿色但 Config Repo 实际上没有更新。
ArgoCD 不可用时的紧急操作
偶尔需要立即修复,而 Argo CD 无法执行。先确认故障在哪一层:API/UI 不可用不表示 controller 停止;代理还活着时,临时改动可能马上被覆盖。
# 前提:已授权应急操作,确认目标 context、namespace 和正确的对账所有者
# 暂停对应 Application 的自动同步;若由 ApplicationSet 管理,要从上层处理
# 保留原声明、现场差异和操作记录,再渲染待应用内容
kubectl kustomize overlays/prod
kubectl diff -k overlays/prod -n myapp
# 确认变更后使用 -k;-f 不会替你渲染 Kustomize overlay
kubectl apply -k overlays/prod -n myapp
# 救火后把实际采纳的修复提交回 Config Repo,经过应急约定的评审
# 核对差异,再恢复原同步策略并验收
argocd app diff myapp-prod
argocd app sync myapp-prod先救火,后补齐意图与证据,不能只救火不收尾。 回写要有责任人和时限;同步恢复后再检查业务,不把“声明重新一致”当成事故已经结束。若恢复 Git 中旧意图更合适,也要明确决定,不能让控制器替人做这项取舍。
八、往哪走
Policy as Code:sync 前的策略校验
GitOps 持续尝试落实期望声明,但已批准的声明也可能越界。策略检查要在执行前或执行入口把不允许的动作挡住。
OPA(Open Policy Agent)和 Kyverno 作为 K8s Admission Controller,在请求进入 API Server 的准入阶段、对象持久化之前做策略校验;CI 也可提前运行部分相同规则:
- 按工作负载政策检查 requests 与必要的资源上限
- 容器镜像必须来自受信任的 Registry(防止供应链攻击)
- 禁止
--privileged容器 - 必须有
readinessProbe
策略本身也是代码,也在 Git 里,也通过 GitOps 部署。策略即代码让边界可重复检查,但还要维护例外、策略版本、执行器可用性与审计。
Secrets 管理的难题
Git 里不能存明文密钥——这是 GitOps 一个棘手的例外。两种社区主流方案:
Sealed Secrets:用公钥在 CI 侧加密密钥,加密后的 SealedSecret 对象可以按其威胁模型提交到 Git(密文在 Git 里,解密依赖 controller 的私钥),集群里的 controller 负责解密为真正的 Secret。私钥须独立保护和备份,否则既可能失去机密性,也可能在灾难恢复时失去解密能力。
External Secrets Operator:Secret 的真实内容存在 Vault / AWS Secrets Manager / GCP Secret Manager,Git 里只存”从哪里取”的引用:
apiVersion: external-secrets.io/v1
kind: ExternalSecret
metadata:
name: myapp-db-password
spec:
secretStoreRef:
name: aws-secrets-manager
kind: SecretStore
target:
name: db-password
data:
- secretKey: password
remoteRef:
key: prod/myapp/db-password # 只有路径,没有值示例要求已安装支持 external-secrets.io/v1 的 ESO CRD,并配置 SecretStore 的认证与最小权限。Git 里只有”去哪里取密钥”的声明,没有密钥本身——GitOps 的声明式原则在密钥管理上得以保留,减少了密钥进入源码历史的机会;运行时 Secret、外部存储与读取权限仍要保护。
这条线的终点:GitOps 完成了一个闭环——受管代码、配置与基础设施的期望变更,通过版本化声明进入交付路径,受管意图可以审查和追溯,运行结果可以对账;能否回退,还取决于制品、依赖与数据恢复能力。但随之而来的问题是:工具链本身(K8s + IaC + GitOps + 服务网格 + 可观测性……)已经变成了新的复杂度来源,普通应用开发者面对的认知负担越来越重。一个刚入职的工程师,要搞清楚 Dockerfile → CI → Config Repo → ArgoCD → K8s → 服务网格,才能部署一个”Hello World”。这是下一篇平台工程要回答的问题。
关联
- → 05-平台工程-把开发者体验当产品来建:GitOps 是 IDP 内部的交付机制,IDP 对开发者屏蔽了 GitOps 的复杂性
- → 03-IaC-把基础设施变成可版本化的意图:应用层 GitOps + 基础设施层 IaC,是本系列采用的一种交付分工
- → 02-Kubernetes-声明意图,控制器维持世界:GitOps operator 本质上是一个 K8s 控制器,reconciliation loop 是两者的共同范式
参考资料与实践边界
本篇机制与文档核验于 2026-10-14。本轮没有部署 Argo CD/Flux、推送实验提交或执行故障注入。示例中的仓库、版本与应用名称需替换成受控实验对象,并把 Git、镜像、密钥和数据恢复分别验收。
- Argo CD Diffing Customization:字段差异与所有权配置。
- Argo CD Compare Options:
IgnoreExtraneous的准确范围。 - Argo CD Sync Options:同步选项与强制替换的破坏性边界。
- Argo CD Projects:源、目标与资源权限边界。
- ExternalSecret:当前 API 与密钥同步职责。