3829 字
19 分钟
监控与可观测性:告警规则设计与降噪——少而准,比多而吵活得久

告警不是越多越安全,恰恰相反#

很多团队的监控系统是这样长大的:出一次事故,补一条告警;有人随口说一句「这个也监控一下吧」,再补一条。半年之后,值班群里每天几百条消息,红的黄的混在一起,所有人默默把群设成了免打扰——真出事那天晚上,系统照样会发消息,只是没有人会再点开看。

告警的本质是注意力分配。人的注意力有限,每多一条低价值告警,都是在给高价值告警征税。更麻烦的是信任透支:值班的人被虚惊叫醒三次,第四次就会先翻个身再看手机——响应速度是被噪音一点点磨掉的,而不是某一天突然消失的。Google SRE 的经验结论很直接:能把人从床上叫起来的告警应该少到屈指可数,其余的要么变成工单,要么删掉。这一篇不绑单一工具,讲告警规则的设计方法论:哪些事值得叫醒人、规则怎么写才不吵、吵起来了怎么降噪。示例用 Prometheus 的规则语法,通知怎么分发到不同渠道,看本系列的 Alertmanager 篇。

参考文档:https://prometheus.io/docs/practices/alerting/

第一步:先分清 page 和 ticket#

所有告警先过一道分流:它是 page,还是 ticket?

类型含义到达方式响应预期
page正在发生、用户正在受损、必须立刻处理电话、短信、强提醒推送分钟级响应,立即处理
ticket需要处理,但不紧急工单、邮件、普通群消息上班时间处理即可

page 的核心特征是「等到明天早上就来不及了」。磁盘还剩 30%、证书还有 20 天过期、某个批处理任务慢了——这些都重要,但没有一条值得凌晨三点把人叫醒,它们全是 ticket。

告警疲劳的根源,恰恰是这两类混在一起:ticket 级别的事情走 page 的渠道发,次数多了,人对这个渠道整体脱敏,等真正的 page 来了也被当成噪音划过去。分流做不好,后面所有优化都是白搭。

遇到拿不准的边界情况,问两个问题:第一,它能不能等到下一个工作日?能,就降级。第二,不处理的话,影响会不会随时间自动扩大?磁盘缓慢写满、错误预算慢慢烧干这类会扩大的,可以留作 ticket 并设好升级条件;既能等又不会扩大的,连 ticket 都可以斟酌。把判断标准写下来,比逐条争论省事得多。

告警要盯症状,不要盯原因#

第二条原则:基于症状告警,而不是基于原因告警。

症状是用户能感知到的东西:请求报错、页面变慢、下单失败。原因是机器内部的状态:CPU 高、内存涨、某个容器重启了。

举例说,「接口 5xx 比例超标」是症状——用户正在实实在在地遇到错误,这条该 page。而「某容器 CPU 使用率超过 90%」是原因——它可能只是批处理在正常干活,也可能被自动扩缩容消化掉,用户毫无感知,这条最多配一张 ticket。

原因型告警还有个毛病:一个症状背后有几十种原因,按原因设告警永远设不全,还特别吵;而症状就那么几个,盯住症状,等于盯住了所有原因的最终汇合点。判断一条告警该不该 page,有个简单标准:如果它触发时你的第一反应是「先看看要不要紧」,那它就不该是 page——page 必须是那种一看就知道「用户正在受损,立刻动手」的。

这不是说原因指标没用。CPU、内存、连接数这些应该老老实实躺在监控面板上,当症状告警触发、开始排查时,它们是定位根因的第一手材料;也可以在症状告警的注释里附上相关面板的链接,让处理的人一键跳过去看。位置摆对了,原因指标是帮手;摆错了,就是噪音源。

四大黄金信号,各配一条告警#

不知道从哪下手时,就用四大黄金信号打底(概念本身在 监控概念篇 里讲过):延迟、流量、错误、饱和度。每个面向用户的服务,把这四个信号各配一条告警,基本盘就有了。

错误——最典型的症状型告警,盯 5xx 占总请求的比例,而不是绝对次数(绝对次数会随流量涨落乱报):

groups:
- name: symptom-alerts
rules:
- alert: HttpErrorRateHigh
# 过去 5 分钟内 5xx 占总请求的比例超过 5%
expr: |
sum(rate(http_requests_total{status=~"5.."}[5m]))
/ sum(rate(http_requests_total[5m])) > 0.05
for: 5m # 持续满 5 分钟才触发,瞬时毛刺不吵人
labels:
severity: page
annotations:
summary: "接口 5xx 比例已达 {{ $value | humanizePercentage }},用户正在遇到报错"
runbook_url: "https://wiki.example.com/runbooks/http-5xx"

延迟——盯分位数而不是平均值,平均值会把长尾抹平。饱和度——别等资源耗尽才报,按消耗速度预测「还有多久用完」:

- alert: ApiLatencyP99High
# p99 延迟超过 1 秒:最慢的那 1% 请求已经明显卡顿
expr: histogram_quantile(0.99, sum(rate(http_request_duration_seconds_bucket[5m])) by (le)) > 1
for: 10m # 延迟类容易抖动,for 给长一点
labels:
severity: page
- alert: DiskWillFillIn4Hours
# 按过去 6 小时的消耗速度线性预测,4 小时后磁盘写满
expr: predict_linear(node_filesystem_avail_bytes[6h], 4 * 3600) < 0
for: 30m
labels:
severity: ticket # 4 小时后才满,上班处理来得及,只发工单

流量的告警常常被忽略:请求量骤降到接近零,往往比暴涨更可怕——入口断了、DNS 出问题、上游不往你这儿导流了,错误率反而一片正常(因为根本没请求进来)。给核心入口配一条「流量低于基线下限」的告警,成本很低,兜底价值很高。

静态阈值的坑,和 for 的作用#

阈值最常见的写法是拍一个固定数字:CPU 超过 80%、延迟超过 1 秒。它的坑在于业务涨了,阈值还停在去年:流量翻倍之后,原本合理的绝对值阈值开始天天误报;或者反过来,服务扩容之后阈值变得永远够不着,形同虚设。对策是能用比例就不用绝对值(错误率、成功率),能用基线对比就不用拍脑袋数字(与上周同期比),实在要用静态阈值的,把它写进季度复盘的检查项里。

for 是另一个降噪主力:条件满足后不立刻触发,持续满设定时长才真正发出。它防的是毛刺——GC 停顿、瞬时抖动、发布过程中的短暂异常,这些持续十几秒就自愈的事情不该惊动任何人。阈值管「有多严重」,for 管「持续了多久」,两个一起用,告警才稳。代价也要心里有数:for 设得越长,发现故障越晚。核心链路的 page 一般给 2–5 分钟,延迟、饱和度这类慢变量可以给到 10–30 分钟。

还有一个配套手法是发布窗口静默:上线、扩缩容、数据迁移这些计划内操作,必然会让一批指标短暂异常。提前在 Alertmanager 里给相关告警设好 silence,比事后在一堆消息里翻找、再逐个解释「这个是发布引起的」要体面得多。静默要设过期时间,过期自动恢复,避免有人忘了取消,把真告警也一起闷掉。

进阶:SLO 多窗口多燃烧率告警#

服务有了明确的 SLO(比如月可用性 99.9%,即每月错误预算约 43 分钟)之后,阈值法可以升级成燃烧率告警。思想不复杂:不看错误率的绝对值,看错误预算的消耗速度。预算正以正常速度 14 倍的速度燃烧,意味着照这个势头两天就把一个月的预算烧光——这是 page;以 2 倍速度慢慢烧,是趋势问题,发 ticket 慢慢查。

关键在「多窗口」:单一窗口要么太灵敏(毛刺就报),要么太迟钝(发现时预算已烧掉一半)。做法是大小两个窗口同时确认——1 小时窗口看大盘燃烧速度,5 分钟窗口确认此刻还在烧,两个都超标才触发,既快又不误报。慢烧的那一档同理,只是换成长窗口:3 天窗口的燃烧率持续偏高,说明有个慢性问题在偷预算(某个小版本引入的缓慢劣化最常见),发 ticket 慢慢查,但别拖——慢烧烧干预算的速度比想象中快。

- alert: ErrorBudgetFastBurn
# 示意:1 小时与 5 分钟两个窗口的燃烧率同时超标才触发
expr: |
(job:slo_errors:ratio_rate1h > (14.4 * 0.001))
and
(job:slo_errors:ratio_rate5m > (14.4 * 0.001))
for: 2m
labels:
severity: page

适用门槛要说清:这套方法需要先有定义清楚的 SLO、错误预算和足够大的流量(请求太少时比例毫无统计意义)。个人维护的小服务、内部工具,老老实实用黄金信号加阈值就够了,不要为了时髦硬套。

严重度分级:P1 / P2 / P3#

分级不是把 page/ticket 换个名字,而是把「多严重、走什么渠道、多久响应」一次定死,落到规则的 severity 标签上,再由 Alertmanager 按标签路由:

级别定义通知渠道响应预期
P1核心功能不可用,用户大面积受损电话+短信+值班群强提醒5 分钟内响应,立即处理
P2部分功能受损,或不处理会恶化成 P1值班群 @值班人+短信30 分钟内响应,当天处理完
P3隐患、趋势、容量类问题工单或邮件下个工作日处理

分级的大忌是通货膨胀:如果一半告警都是 P1,P1 就等于没有分级。个人维护的几台服务器不必照搬大厂的值班体系,小规模的落地形态可以看本系列的舰队监控篇;自建服务场景的通用告警配置,自建服务系列也有一篇监控告警篇可以对照。

每条告警的标配四件套#

一条告警写完,逐项检查有没有这四样:

  • 可执行:接到就能动手处理,而不是「提示你去看看」。看完还要调查半天才知道干什么的,是监控,不是告警。
  • runbook 链接:处理步骤沉淀成文档,链接写进 annotations。新人接手、半夜迷糊时,照着做就行。
  • 负责人:用标签标明归属的服务或人。群发所有人的告警,等于没有负责人。
  • 用户影响写在第一句:annotations 的摘要先说「用户怎么了」,再说机器指标。「订单接口 5xx 比例 8%,用户下单失败」远好于「http_requests_total 异常」。

一条合格的告警,应该让接手的人在十秒内明白三件事:用户怎么了、影响有多大、第一步做什么。

WARNING

没有 runbook 的告警,等于把决策推给半夜被叫醒的人。写规则时如果写不出处理步骤,说明这条告警本身还没想清楚——先补 runbook,或者先降级成 ticket,想清楚了再升级。

反模式清单#

对照自查,中招的尽快改:

  • 按指标设告警:每个指标都配一条,「全覆盖」的结果是全是噪音。监控可以全覆盖,告警必须挑症状。
  • 原因型告警当 page 用:CPU 高、内存高直接打电话,十次里九次虚惊。
  • 阈值拍脑袋且从不复盘:上线时随手写的数字,三年没人再看过。
  • 不设 for:条件一满足立刻触发,毛刺和发布抖动全变成告警。
  • 没有负责人:发到大群里,所有人都觉得别人会处理。
  • 一个故障炸出十几条告警:根因只有一条,其余全是连带症状——分组、抑制没做好。
  • 告警只加不删:规则文件只涨不缩,迟早没人信它。
  • 发到没人看的地方:告警邮箱没人收、群早已全员免打扰,发了等于没发。

定期清理:告警也要做减法#

每个季度把告警规则拉出来过一遍,重点盯两类:

  • 从不触发的:要么阈值定得永远够不着,要么对应的服务早就下线了。要么修正,要么删除——留着只会给人虚假的安全感。
  • 每次触发都被无视的:触发几十次、没人处理过一次、也从没出过事。这种告警比没有这条告警更危险,因为它在持续训练团队忽略告警渠道。处理办法只有两个:修到值得处理,或者删掉、降级。

判断依据是数据:每条告警的触发次数、误报比例、平均处理时长,Alertmanager 和工单系统里都有记录,复盘时拿出来逐条过,不要凭感觉。

具体做法可以很朴素:把过去一个季度每条 page 的触发记录拉出来,逐条标注「真故障、误报、计划内操作」三类。误报占一半以上的规则,要么改阈值,要么直接降级成 ticket;真故障一次没抓到、靠用户投诉才发现的,说明症状告警有缺口,复盘时补上。再看总量趋势:健康的系统里,page 应该稳定在每周个位数的量级。如果连续几个月往上爬,先别怪值班的人响应慢——多半是规则在失控增长,到了该做减法的时候。

上线前自检清单#

新告警上线前,逐条打勾:

  • 它对应哪个用户症状?说不出来,先别上线
  • 是 page 还是 ticket?分级和渠道对得上吗?
  • 阈值有依据吗?比例型还是绝对值,为什么?
  • 设了 for 防抖吗?时长和信号的快慢匹配吗?
  • runbook 链接能打开、步骤照着能执行吗?
  • 负责人明确吗?标签打对了吗?
  • 摘要第一句写的是用户影响吗?
  • 手动触发演练过吗?通知链路真的通吗?
  • 恢复时有没有 resolved 通知?不然没人知道它自己好了

小结#

告警设计的核心就一句话:少而准。先用 page / ticket 把渠道分开,再用症状优先和四大黄金信号守住基本盘,阈值配上 for 防抖;有了 SLO 之后再考虑燃烧率告警;每条告警带齐可执行、runbook、负责人、用户影响四件套;最后定期做减法,把不触发的和没人理的清理掉。告警系统和代码一样,不维护就会腐烂——区别是,告警腐烂的代价是在真正出事的那个晚上付的。

监控与可观测性:告警规则设计与降噪——少而准,比多而吵活得久
https://www.anexns.cloudns.org/posts/monitoring-alert-rules/
作者
Anexns
发布于
2026-11-16
许可协议
CC BY-NC-SA 4.0