公告Ryan 的 SRE 之旅 —— 内容持续更新,欢迎指正。

SRE黄金指标怎么落地监控才有效,监控指标如何配置告警?

2026-11-19 技术笔记 0 阅读

黄金指标能不能落地,差别不在指标本身,而在你有没有把四个指标翻译成团队能盯的SLI、能报警的阈值、能对着时间线复盘的数据。先定口径,再采集,再谈告警阈值,最后用复盘反推补埋点,这套顺序跑一遍,监控才算真的上线,而不是停在PPT里。

指标先定口径,不然监控永远是糊的

很多团队不是没监控,是监控看板上有一堆曲线,真出事了没人敢照着它下判断。问题通常出在口径上:延迟算的是入口还是下游调用?错误率算5xx还是把所有非2xx都算进去?销售团队和研发团队看到的“错误”根本不是同一个数。

延迟:成功请求和失败请求必须分开统计

Google SRE那本书里反复提过一件事,失败的请求往往返回得特别快。如果你把5xx混进延迟里算P99,故障期间延迟曲线反而“变好看了”,这就是典型的指标骗人。采集时至少打两个标签,把状态码带进直方图,查询时按状态分组:

histogram_quantile(0.99,
  sum by (le, service) (
    rate(http_request_duration_seconds_bucket{status=~"2..|3.."}[5m])
  )
)

失败请求的延迟单独出一条线,专看超时类错误,这类请求的耗时才是有意义的信号。埋点建议放在服务端的HTTP中间件里,统一记录method、path模板、status、duration四个字段,别让每个业务组自己写一套。

流量、错误、饱和度:三个最容易写错的细节

  • 流量用请求速率(QPS)而不是累计计数,采集周期建议1分钟,看板周期用5分钟滚动,能避开瞬时抖动。别拿Nginx的access日志条数当业务QPS,两边的采样口径对不上。
  • 错误要分清服务端错误和客户端错误。网关层看到的499、业务层的空指针、下游超时,归属完全不同,告警应该只打在服务端错误上,客户端错误更适合做趋势观察。
  • 饱和度最容易被简化成CPU使用率。真正先撑爆的往往是连接池、线程池、队列长度、磁盘await、文件描述符,CPU反而是最后一个倒下的。数据库连接池的等待数、消息队列的堆积量,这两个指标救过的故障比CPU告警多得多。

四个黄金指标和RED方法有什么区别,该选哪个

这是团队内部争论最多的问题之一。答案是不用选,它们管的层次不一样。黄金指标偏服务整体健康度,RED(Rate、Errors、Duration)更贴近请求维度,USE(Utilization、Saturation、Errors)则专门看资源。三者叠起来才完整。

一张表看清适用场景

方法 核心指标 适合看什么
四个黄金指标 延迟、流量、错误、饱和度 面向用户的SLO和值班告警
RED 请求速率、错误率、耗时 微服务接口级监控,适合做服务网格指标
USE 使用率、饱和度、错误 主机、容器、中间件等资源层排查

实操建议:对外承诺用黄金指标兜底,团队内部看板用RED拆到接口,排查根因时下钻到USE。三层之间用trace_id串起来,故障复盘才能顺着一条链路走到底。

Prometheus黄金指标告警规则配置怎么写

采集通了不代表有用。黄金指标最容易踩的坑是阈值拍脑袋,导致告警要么天天响被静音,要么真出事一个没报。

规则模板:从指标到告警的完整链路

groups:
- name: golden-signals
  rules:
  - alert: HighServerErrorRate
    expr: |
      sum by (service) (rate(http_requests_total{status=~"5.."}[5m]))
      /
      sum by (service) (rate(http_requests_total[5m])) > 0.02
    for: 10m
    labels:
      severity: critical
    annotations:
      summary: "{{ $labels.service }} 服务端错误率异常"

这里的2%只是示例,实际阈值应该从你自己的SLO倒推:SLO定99.9%,全年允许的失败额度就是0.1%,告警阈值必须比这个额度更敏感。业内专家指出,比绝对阈值更稳的做法是多窗口多燃烧率告警,1小时窗口烧得太快就立刻报,6小时窗口缓慢失血则降级为工单,两者用不同severity区分,能显著减少无效打扰。

告警阈值怎么定才不吵人

  • 先用两周的历史数据画基线,取业务低峰和高峰分别看,别用一个固定值覆盖全天。
  • 给每条告警加for持续时间,瞬时尖刺不该叫醒任何人。
  • 告警里必须带可点击的看板链接和查询语句,值班的人第一眼就能下钻,不用重新拼PromQL。
  • 定期统计告警数量和真实故障的对应关系,连续一个月没触发过有效响应的规则,要么调阈值要么删掉。

中小团队落地黄金指标监控要花多少成本

成本分两块,工具和人力。工具这块,Prometheus加Thanos或VictoriaMetrics的开源组合,在中小规模下基本只花机器钱。指标量上去之后,存储和查询才是真开销,按每台机器每秒活跃时间序列数估算容量比拍脑袋买硬盘靠谱。

自建和商业方案的真实差异

商业监控平台通常按主机数、指标量或日志量计费,好处是省运维、开箱有看板,坏处是指标维度拆得越细账单涨得越快。自建的好处是维度随便打,坏处是你得有人维护Prometheus本体。行业共识认为,团队规模在十来个服务、几十台机器的阶段,自建的成本优势明显;服务数量过百、多地域部署之后,运维成本会反超。顺带说一句,在北京、上海招一个能独立维护监控体系的SRE,人力成本往往比工具订阅费高出一个量级,这笔账在立项时就得算进去。

落地节奏建议

  1. 第一周:选定一个核心服务,把四个指标的埋点补齐,出第一版看板。
  2. 第二周:配3到5条高价值告警,接入值班通道,跑通告警到看板的跳转。
  3. 第三周:拉一次历史故障复盘,检查当时的黄金指标曲线能不能还原故障过程,缺什么补什么。
  4. 之后每月一次告警健康度回顾,砍掉噪音规则。

让黄金指标反哺故障复盘

监控的价值最终体现在复盘里。复盘的时候把故障时间线摊开,对着四类指标的曲线逐条对:延迟是先涨还是错误率先涨?饱和度在故障前多久就开始爬坡?如果曲线对不上时间线,说明埋点有缺口,这比写十页整改措施都管用。

值班手册里常备的三条查询

  • 服务端错误率按接口排序,找出贡献最大的前五个路径。
  • P99延迟按上游依赖分组,快速判断是不是某个下游拖垮的。
  • 连接池等待数和队列堆积量,用来确认饱和度是不是已经到顶。

复盘输出里加一份“指标缺口清单”,比如某次故障发现缓存命中率没采集、某个异步任务的堆积没有监控,下一轮迭代就把它补上。据公开的运维实践资料,能坚持做这件事的团队,平均故障定位时间会明显下降,因为大多数“查不出来”的问题,本质是数据没采到。黄金指标不是背出来的四个词,是一轮轮复盘里磨出来的判断依据。

关于SRE黄金指标落地监控的常见疑问

四个黄金指标必须全做吗

不必。起步阶段优先做错误率和延迟,这两个和用户体验最直接相关,也最容易驱动排障。流量指标成本极低,通常顺手就有了。饱和度放在第二轮补,因为它的采集往往依赖中间件导出器和主机层组件,工程量更大。

单体应用、没上K8s,也能落地吗

完全可以。黄金指标和容器无关,单体应用反而更好做,入口只有一两个。用Nginx的日志配合服务端中间件埋点就能拿到延迟和错误,主机上装node_exporter补饱和度,Prometheus加Grafana的组合照样跑得起来。真正的难点是应用内部缺少统一埋点,这时候优先改造HTTP框架层的统一拦截器,比逐个接口改要省力得多。

推荐阅读

RELATED
河北名美凯利建筑工程有限公司 冀ICP备2026046508号-4