SRE黄金指标怎么落地监控才有效,监控指标如何配置告警?
黄金指标能不能落地,差别不在指标本身,而在你有没有把四个指标翻译成团队能盯的SLI、能报警的阈值、能对着时间线复盘的数据。先定口径,再采集,再谈告警阈值,最后用复盘反推补埋点,这套顺序跑一遍,监控才算真的上线,而不是停在PPT里。
指标先定口径,不然监控永远是糊的
很多团队不是没监控,是监控看板上有一堆曲线,真出事了没人敢照着它下判断。问题通常出在口径上:延迟算的是入口还是下游调用?错误率算5xx还是把所有非2xx都算进去?销售团队和研发团队看到的“错误”根本不是同一个数。
延迟:成功请求和失败请求必须分开统计
Google SRE那本书里反复提过一件事,失败的请求往往返回得特别快。如果你把5xx混进延迟里算P99,故障期间延迟曲线反而“变好看了”,这就是典型的指标骗人。采集时至少打两个标签,把状态码带进直方图,查询时按状态分组:
histogram_quantile(0.99,
sum by (le, service) (
rate(http_request_duration_seconds_bucket{status=~"2..|3.."}[5m])
)
)
失败请求的延迟单独出一条线,专看超时类错误,这类请求的耗时才是有意义的信号。埋点建议放在服务端的HTTP中间件里,统一记录method、path模板、status、duration四个字段,别让每个业务组自己写一套。
流量、错误、饱和度:三个最容易写错的细节
- 流量用请求速率(QPS)而不是累计计数,采集周期建议1分钟,看板周期用5分钟滚动,能避开瞬时抖动。别拿Nginx的access日志条数当业务QPS,两边的采样口径对不上。
- 错误要分清服务端错误和客户端错误。网关层看到的499、业务层的空指针、下游超时,归属完全不同,告警应该只打在服务端错误上,客户端错误更适合做趋势观察。
- 饱和度最容易被简化成CPU使用率。真正先撑爆的往往是连接池、线程池、队列长度、磁盘await、文件描述符,CPU反而是最后一个倒下的。数据库连接池的等待数、消息队列的堆积量,这两个指标救过的故障比CPU告警多得多。
四个黄金指标和RED方法有什么区别,该选哪个
这是团队内部争论最多的问题之一。答案是不用选,它们管的层次不一样。黄金指标偏服务整体健康度,RED(Rate、Errors、Duration)更贴近请求维度,USE(Utilization、Saturation、Errors)则专门看资源。三者叠起来才完整。
一张表看清适用场景
| 方法 | 核心指标 | 适合看什么 |
|---|---|---|
| 四个黄金指标 | 延迟、流量、错误、饱和度 | 面向用户的SLO和值班告警 |
| RED | 请求速率、错误率、耗时 | 微服务接口级监控,适合做服务网格指标 |
| USE | 使用率、饱和度、错误 | 主机、容器、中间件等资源层排查 |
实操建议:对外承诺用黄金指标兜底,团队内部看板用RED拆到接口,排查根因时下钻到USE。三层之间用trace_id串起来,故障复盘才能顺着一条链路走到底。
Prometheus黄金指标告警规则配置怎么写
采集通了不代表有用。黄金指标最容易踩的坑是阈值拍脑袋,导致告警要么天天响被静音,要么真出事一个没报。
规则模板:从指标到告警的完整链路
groups:
- name: golden-signals
rules:
- alert: HighServerErrorRate
expr: |
sum by (service) (rate(http_requests_total{status=~"5.."}[5m]))
/
sum by (service) (rate(http_requests_total[5m])) > 0.02
for: 10m
labels:
severity: critical
annotations:
summary: "{{ $labels.service }} 服务端错误率异常"
这里的2%只是示例,实际阈值应该从你自己的SLO倒推:SLO定99.9%,全年允许的失败额度就是0.1%,告警阈值必须比这个额度更敏感。业内专家指出,比绝对阈值更稳的做法是多窗口多燃烧率告警,1小时窗口烧得太快就立刻报,6小时窗口缓慢失血则降级为工单,两者用不同severity区分,能显著减少无效打扰。
告警阈值怎么定才不吵人
- 先用两周的历史数据画基线,取业务低峰和高峰分别看,别用一个固定值覆盖全天。
- 给每条告警加for持续时间,瞬时尖刺不该叫醒任何人。
- 告警里必须带可点击的看板链接和查询语句,值班的人第一眼就能下钻,不用重新拼PromQL。
- 定期统计告警数量和真实故障的对应关系,连续一个月没触发过有效响应的规则,要么调阈值要么删掉。
中小团队落地黄金指标监控要花多少成本
成本分两块,工具和人力。工具这块,Prometheus加Thanos或VictoriaMetrics的开源组合,在中小规模下基本只花机器钱。指标量上去之后,存储和查询才是真开销,按每台机器每秒活跃时间序列数估算容量比拍脑袋买硬盘靠谱。
自建和商业方案的真实差异
商业监控平台通常按主机数、指标量或日志量计费,好处是省运维、开箱有看板,坏处是指标维度拆得越细账单涨得越快。自建的好处是维度随便打,坏处是你得有人维护Prometheus本体。行业共识认为,团队规模在十来个服务、几十台机器的阶段,自建的成本优势明显;服务数量过百、多地域部署之后,运维成本会反超。顺带说一句,在北京、上海招一个能独立维护监控体系的SRE,人力成本往往比工具订阅费高出一个量级,这笔账在立项时就得算进去。
落地节奏建议
- 第一周:选定一个核心服务,把四个指标的埋点补齐,出第一版看板。
- 第二周:配3到5条高价值告警,接入值班通道,跑通告警到看板的跳转。
- 第三周:拉一次历史故障复盘,检查当时的黄金指标曲线能不能还原故障过程,缺什么补什么。
- 之后每月一次告警健康度回顾,砍掉噪音规则。
让黄金指标反哺故障复盘
监控的价值最终体现在复盘里。复盘的时候把故障时间线摊开,对着四类指标的曲线逐条对:延迟是先涨还是错误率先涨?饱和度在故障前多久就开始爬坡?如果曲线对不上时间线,说明埋点有缺口,这比写十页整改措施都管用。
值班手册里常备的三条查询
- 服务端错误率按接口排序,找出贡献最大的前五个路径。
- P99延迟按上游依赖分组,快速判断是不是某个下游拖垮的。
- 连接池等待数和队列堆积量,用来确认饱和度是不是已经到顶。
复盘输出里加一份“指标缺口清单”,比如某次故障发现缓存命中率没采集、某个异步任务的堆积没有监控,下一轮迭代就把它补上。据公开的运维实践资料,能坚持做这件事的团队,平均故障定位时间会明显下降,因为大多数“查不出来”的问题,本质是数据没采到。黄金指标不是背出来的四个词,是一轮轮复盘里磨出来的判断依据。
关于SRE黄金指标落地监控的常见疑问
四个黄金指标必须全做吗
不必。起步阶段优先做错误率和延迟,这两个和用户体验最直接相关,也最容易驱动排障。流量指标成本极低,通常顺手就有了。饱和度放在第二轮补,因为它的采集往往依赖中间件导出器和主机层组件,工程量更大。
单体应用、没上K8s,也能落地吗
完全可以。黄金指标和容器无关,单体应用反而更好做,入口只有一两个。用Nginx的日志配合服务端中间件埋点就能拿到延迟和错误,主机上装node_exporter补饱和度,Prometheus加Grafana的组合照样跑得起来。真正的难点是应用内部缺少统一埋点,这时候优先改造HTTP框架层的统一拦截器,比逐个接口改要省力得多。