公告Ryan 的 SRE 之旅 —— 内容持续更新,欢迎指正。

Prometheus监控最佳实践是什么,告警规则如何配置?

2026-11-16 监控告警 0 阅读

先说结论:Prometheus 能不能扛住生产环境,关键不在装得多快,而在指标命名是否收敛、告警规则是否分层、告警处置是否有复盘闭环。把这三件事做扎实,一套中小规模的监控体系就能稳定跑下去;反过来,规则堆几百条、告警天天响,团队很快就会对它失去信任。

SRE 和运维的日常无非三块:监控告警、自动化、故障复盘。Prometheus 是其中第一块的主力,但它不是装完就完事。下面这套做法来自长期一线运维场景,偏实操,可以直接对照自己的环境改。

Prometheus 的指标模型决定了它能做什么、做不好什么

不少人上手第一周就踩坑,因为拿它当 Zabbix 用。搞清底层模型,后面配置会顺很多。

拉取模型与 Pushgateway 的边界

Prometheus 默认主动拉取(pull),每隔 scrape_interval 去目标拉一次 /metrics。这带来一个天然好处:目标挂了,抓取失败,up == 0 立刻能反映出来。副作用是短生命周期任务(定时脚本、批处理 Job)来不及被拉取就结束了。

这类场景用 Pushgateway 推送,但行业共识认为它只适合收尾型任务,不要拿它承接长期服务。Pushgateway 不会自动清理旧指标,推一次留一辈子,很容易做出错误的告警判断。用完记得调 DELETE /metrics/job/ 清掉。

指标类型别用错

  • C
    Counter

    只增不减,配合 rate() 或 increase() 求速率。请求总数、错误数都是这类。

  • G
    Gauge

    可增可减,当前内存占用、连接数。直接看瞬时值,别套 rate()。

  • H
    Histogram

    分桶统计,用来算 P95/P99 延迟,配合 histogram_quantile()。

  • S
    Summary

    客户端算分位数,不可跨实例聚合。多副本服务别用它算全局延迟。

一个高频错误是用 irate() 做告警。它只看最后两个采样点,抖动大,容易误报。告警规则里优先 rate(...[5m]),图表展示才考虑 irate()。

K8s 集群 Prometheus 监控落地:采集配置的几个关键点

容器环境下目标数量随 Pod 起落变化,手工维护 static_configs 不现实。主流做法是走服务发现。

部署形态选哪种

三种常见路径,按团队规模挑:

  1. Prometheus Operator:用 CRD 声明 ServiceMonitor、PodMonitor、PrometheusRule,配置即代码。集群规模超过几十个服务时首选。
  2. Helm Chart 手工维护配置:适合服务数量不多、想直接控制 prometheus.yml 的团队。
  3. 托管服务:省掉存储和 HA 的活,代价是数据出网和成本。

relabel 是筛选数据的第一道闸门

默认情况下 kubelet 和 cAdvisor 暴露的指标序列数量很大,不加筛选会直接把 TSDB 撑爆。常用两步:

  • 用 metric_relabel_configs 丢掉不需要的指标,比如各类 *_bucket 里不关心的分位桶,或者内部测试命名空间的全部序列。
  • 用 relabel_configs 在抓取前过滤目标,避免抓到一堆无关 endpoint。

改完配置先跑 promtool check config prometheus.yml 和 promtool check rules rules/*.yml 验证语法,再滚动重启。生产上直接 reload 失败导致配置没生效,是很常见的翻车点。

存储与保留策略

本地 TSDB 的容量大致跟「活跃序列数 × 采样点 × 保留时长」相关。经验上控制活跃序列总量比调参数更有效。保留期设太长,压缩和查询都会变慢;设太短,月度复盘时又拿不到历史数据。

比较务实的组合:本地保留 15 到 30 天供日常排查,长期数据通过远程写(remote write)落到 VictoriaMetrics、Thanos 或 Mimir。远程写队列积压时,先看 prometheus_remote_storage_queue_highest_sent_timestamp_seconds 和 prometheus_remote_storage_samples_dropped_total,能快速定位是网络还是下游写入瓶颈。

Prometheus 监控告警规则怎么配置才不吵人

这是绝大多数团队卡住的地方。规则写了几百条,值班群天天响,最后大家集体静音,监控形同虚设。

按影响面分层,而不是按资源类型罗列

建议分三层:

  • 01
    业务层(P1)

    基于 SLO 的错误率或延迟,比如 5 分钟内错误率超过阈值、核心接口 P99 延迟突破目标

  • 02
    服务层(P2)

    依赖组件异常,如数据库连接池耗尽、消息队列积压持续增长。走工单或白天处理。

  • 03
    资源层(P3)

    CPU、内存、磁盘。这类多数是趋势问题,适合用较长 for 窗口,比如 for: 15m,避

容器内存告警别直接看 container_memory_usage_bytes,它包含 page cache,数值虚高。用 container_memory_working_set_bytes 除以 container_spec_memory_limit_bytes 更贴近真实压力。

别漏了「目标消失」这类静默故障

目标被删掉、Service 标签改了、抓取配置写错,指标会安静地消失,所有阈值告警都不会触发。补一条基于 absent() 的规则兜底,比如核心 Job 超过一定时间没有任何序列,就报出来。

Alertmanager 的分组、抑制和静默

规则只是前半程,降噪主要靠 Alertmanager:

  • G
    group_by

    按 cluster、service 聚合,一次故障合并成一条通知。配 group_wait:

  • I
    inhibit_rules

    上层故障时抑制下层的连带告警。比如整个节点失联,就没必要同时报节点上十几个 Pod 的异常。

  • S
    silence

    变更窗口前用 amtool silence add 打静默,带到期时间,别忘记。

Prometheus 和 Zabbix 哪个更适合运维团队

这个问题问的频率很高,答案取决于你要监控什么。

维度 Prometheus Zabbix
数据模型 多维度标签,适合动态环境 主机为中心,结构稳定
采集方式 主动拉取为主 Agent 推送 + 主动/被动检查
容器适配 原生支持服务发现 需要模板和额外适配
告警能力 规则灵活,配合 Alertmanager 降噪 内置触发器和动作,开箱即可用
适用场景 云原生、微服务、动态伸缩 传统 IDC、网络设备、物理机

实际生产里两者并存很常见:容器和微服务交给 Prometheus,交换机、UPS、老旧物理机继续留在 Zabbix。硬要二选一,反而容易做出别扭的架构。

国内 Prometheus 监控方案选型要考虑的实际问题

选型时不只看功能,还有几件容易被忽略的事。

镜像与依赖的可获取性

Prometheus、Alertmanager、Grafana 的官方镜像在国内拉取偶有波动,生产环境建议搭本地镜像仓库做同步,别让部署流程卡在拉镜像上。Helm chart 依赖同理。

自建、托管与商业支持的成本差异

小规模自建的直接成本主要落在机器和人力上,一台 8C16G 加一块 SSD 通常能撑住中等规模集群。规模上去之后,高可用、长期存储、多集群聚合带来的运维负担会明显增加,这时托管服务或购买商业支持往往更划算。询价时重点问清三件事:写入的是什么量级的活跃序列、保留多久、超量怎么计费。价格差异大多出在这三项,而不是基础套餐费。

告警之后的故障复盘怎么闭环

告警响了、处理完了,工作只完成一半。复盘要做的是把「这次为什么没提前发现」变成规则或改进项。

  • 01
    先看时间线

    从首个异常指标出现到告警触发隔了多久,从告警到人响应隔了多久。前者长说明阈值或窗口不合理,后

  • 02
    再看覆盖盲区

    故障期间哪些指标本应体现异常却没有。补采集、补规则,比事后写检讨有用。

  • 03
    最后看噪声

    本次故障触发了多少条无关告警,把它们收敛掉或者加抑制。业内专家指出,告警治理是个持续过程,指

把复盘结论落到版本库里,规则跟着代码走,谁改的、为什么改都留痕,下次同类问题排查能省下大量时间。

回到开头那句话,Prometheus 本身不难,难的是围绕它建立一套克制、可维护的规则体系和响应流程。指标口径统一、告警分层、复盘闭环这三件事做到位,监控才真正开始产生价值,而不是变成又一个没人看的仪表盘。

关于 Prometheus 服务监控的常见问题

Prometheus 单机能不能直接上生产

中小规模、能接受分钟级数据缺口时可以用,但要做好远程写和定期备份。核心业务建议至少两套实例分别抓取,配合 Thanos 或 VictoriaMetrics 做查询聚合,避免单点故障导致监控本身先失效。

指标基数太大导致内存暴涨怎么排查

先看 Prometheus 自带的 prometheus_tsdb_head_series 和 TSDB 状态页里的序列数排行,定位是哪个 Job 贡献的。多数情况是标签里带了用户 ID、请求 ID 这类高基数字段,或者抓了某类带 le 分桶过多的 Histogram。用 metric_relabel_configs 丢掉,或让业务侧改标签设计。

告警规则改完需要重启 Prometheus 吗

不需要。发送 SIGHUP 或调用 POST /-/reload 即可热加载,前提是启动时带了 --web.enable-lifecycle。改动前用 promtool check rules 验证,加载后到 Status 页的 Rules 确认版本和表达式已经更新。

推荐阅读

RELATED
河北名美凯利建筑工程有限公司 冀ICP备2026046508号-4