公告Ryan 的 SRE 之旅 —— 内容持续更新,欢迎指正。

SLO与错误预算该如何制定呢,错误预算怎么计算更合理?

2026-11-20 技术笔记 0 阅读

SLO不是拍脑袋定出来的数字,错误预算也不是留给老板看的KPI,二者本质是一套用可量化方式管理“稳定性成本”的决策机制:先用SLI说清楚什么算“好”,再用SLO划定容忍边界,最后用错误预算决定什么时候该停止发布、什么时候可以冒险。这套逻辑在Google SRE体系里已经跑了多年,但真正落地时,多数团队卡在第一步——不知道该把目标定在99.9还是99.95,也不知道预算烧到多少该拉闸。下面按制定顺序拆开讲。

## 先把SLI选对,SLO才有意义

### SLI不是越多越好,先抓用户能感知的那一个

SLO的地基是SLI(服务水平指标)。很多团队一上来就列十几项指标,CPU、内存、QPS全往里塞,结果SLO变成监控大盘的复读机。正确的做法是从用户视角倒推:用户打开页面慢不慢、下单成不成功、搜索结果出不出来。业内专家指出,可观测性建设初期的常见误区就是把资源指标当成服务质量指标,实际上CPU高不代表用户受损,CPU高且成功率掉才是。

一个电商场景的SLI清单可以是这样:

– 可用性SLI:成功返回HTTP 2xx/3xx的请求数 ÷ 总有效请求数
– 延迟SLI:P99响应时间低于300ms的请求占比
– 质量SLI:搜索结果中前10条命中的比例(针对搜索业务)

每个SLI都要配一个明确的采集口径。比如“有效请求”要排除健康检查探针和压测流量,否则探针把成功率拉满,真实故障根本触发不了告警。这一步不写清楚,后面SLO全是空中楼阁。

### SLO目标怎么定:别从99.99起步

定SLO最忌讳两种极端:一种是直接抄同行“我们也要四个9”,另一种是历史均值是多少就定多少。前者把团队架在火上烤,后者等于承认现状永远不用改进。

比较务实的做法是看两个数:过去一个季度实际达成的水平,以及业务方真正能接受的下限。如果历史达成是99.92%,业务侧说“每月挂半小时以内能忍”,那SLO定99.9%就是合理的——留出改进空间,又不脱离现实。行业共识认为,多数在线业务的SLO落在99.9%附近是性价比拐点,再往上每增加一个9,投入的工程成本呈指数级上升。

这里有个容易踩的坑:SLO是内部目标,不是对外承诺。对外承诺那是SLA,涉及赔付条款。SLO要严于SLA,给自己留缓冲。比如SLA承诺99.9%,SLO可以定99.95%,这样内部预警会比客户投诉先到。

#### 初创团队SLO目标怎么定比较合理

业务还没稳定的团队,不建议一上来就搞全套SLO体系。可以先选一条核心链路(比如注册登录或支付),用两周时间采集真实数据,取P50水平作为初始SLO,跑一个季度再校准。初期目标宁可松一点,让错误预算有富余,团队才有空间做架构优化而不是天天救火。

## 错误预算怎么算、怎么花

### 预算公式很朴素,关键是解读

错误预算 = 1 − SLO。SLO定99.9%,一个月的错误预算就是0.1%的时间,换算下来约43分钟。如果按请求数算,就是总请求数的0.1%可以失败。

这个数字本身不复杂,复杂的是怎么用它做决策。常见的错误预算法则(业内常说的“50倍规则”变体)是:

– 预算消耗低于25%:正常发布,节奏不变
– 消耗25%–50%:发布前加一轮灰度验证
– 消耗50%–75%:冻结非紧急变更,优先排查根因
– 消耗超过75%:停止所有功能发布,只允许修复类上线
– 预算耗尽:进入事故响应模式,直到下个周期重置

### 错误预算消耗太快怎么办

这是运维群里高频出现的问题。预算烧得快通常有三类原因:一是SLO定得太紧,正常波动就超标;二是SLI口径有问题,把非用户影响的失败也算进去了;三是真有持续性故障没被发现。排查顺序建议是先看SLI口径,再看告警阈值,最后才怀疑系统本身。

实操上可以用PromQL快速定位预算消耗速率。假设可用性SLI的SLO是99.9%,查询最近1小时的消耗速率:

“`promql
(1 – sum(rate(http_requests_total{status=~”2..|3..”}[1h]))
/ sum(rate(http_requests_total[1h]))) / (1 – 0.999)
“`

结果大于1说明按当前速率预算会在周期结束前烧完,需要立刻介入。这个查询可以直接挂到告警规则里,比传统“错误率超过5%”的阈值告警更贴近业务影响。

## 监控告警:让预算烧得有感知

### 多窗口燃烧率告警比单阈值靠谱

传统告警是“错误率>X%就响”,问题是短时抖动会疯狂误报,而缓慢的预算消耗又感知不到。燃烧率(burn rate)告警解决的就是这个问题:它衡量的是“当前消耗速度是正常速度的多少倍”。

一套常见的配置是长短窗口组合:

– 快烧告警:1小时窗口燃烧率>14.4,且5分钟窗口也>14.4,触发P1。含义是2小时内会烧掉5%预算
– 慢烧告警:6小时窗口燃烧率>6,且30分钟窗口>6,触发P2工单

这种双窗口设计能同时压住误报和漏报。落地时可以用开源的sloth工具生成规则,也可以手写Prometheus rules,核心是把SLO目标、窗口长度、燃烧率倍数三个参数对齐。

### 告警要带上下文,别只丢一个数字

告警消息里至少要包含:当前燃烧率、已消耗预算百分比、受影响的SLI、最近一次变更记录。少了这些,值班同学还得手动翻三个系统才能判断严重程度,MTTR自然降不下来。可以在Alertmanager的模板里把这些字段拼进去,或者对接内部变更系统自动附带最近一次发布单号。

## 故障复盘:错误预算的账要对得上

### 复盘看的是预算消耗曲线,不是情绪

每次故障复盘,先拉出错误预算的消耗曲线,标出故障时段对应的斜率。这样做有两个好处:一是能客观量化“这次故障到底多严重”,避免复盘会变成互相甩锅;二是能验证SLO是否合理——如果一次小故障就烧掉大半预算,说明SLO定得过紧或者SLI口径太敏感。

复盘产出要落到具体动作上,常见的三类跟进项:

1. 检测改进:这次故障为什么告警没在5分钟内触发?补哪条燃烧率规则?
2. 恢复改进:MTTR是多少?卡在定位还是卡在回滚?自动化回滚脚本能不能覆盖这类场景?
3. 预防改进:是否需要在CI里加对应的混沌测试用例,或者调整发布灰度比例?

### 自动化和预算的联动

成熟团队会把错误预算状态接进发布流水线。做法是在CD平台加一道门禁:发布前查询当前周期的预算剩余,低于阈值直接拒绝非修复类变更。这样不需要人工盯着预算看板,机制自己会踩刹车。实现上一般是写一个轻量API,从Prometheus或SLO平台拉取剩余预算,返回给流水线做判断,几十行代码就能跑起来。

Q&A

SLO和SLA到底有什么区别,制定时要注意什么
SLA是对客户的合同承诺,违约要赔钱;SLO是内部运营目标,用来指导工程决策。制定时SLO必须比SLA更严格,比如SLA承诺99.9%,SLO定99.95%,这样内部预警会先于客户感知触发。另外SLA通常按自然月统计,SLO可以按滚动窗口统计,更贴近实际体验。

错误预算和发布频率之间怎么平衡
错误预算充足的周期可以适当加快发布节奏,因为预算本身就是“允许犯错的空间”。反过来预算吃紧时冻结发布,不是因为发布一定有问题,而是因为此时系统容错空间已经很小,任何变更的风险都被放大。实践中有团队把发布频率和预算余额做成看板联动展示,让研发自己判断当前该快还是该慢。

SLO目标定多少合适,有没有参考区间
没有放之四海皆准的数字,但可以从历史达成水平和业务容忍度两头夹逼。多数在线业务落在99.9%附近是常见区间,延迟类SLO按P99设置时要先确认业务侧对长尾延迟的真实敏感度。定完之后至少跑一个完整周期再校准,第一个版本的目标本来就是用来被修正的。

推荐阅读

RELATED
河北名美凯利建筑工程有限公司 冀ICP备2026046508号-4