告警不是越多越安全,恰恰相反
很多团队的监控系统是这样长大的:出一次事故,补一条告警;有人随口说一句「这个也监控一下吧」,再补一条。半年之后,值班群里每天几百条消息,红的黄的混在一起,所有人默默把群设成了免打扰——真出事那天晚上,系统照样会发消息,只是没有人会再点开看。
告警的本质是注意力分配。人的注意力有限,每多一条低价值告警,都是在给高价值告警征税。更麻烦的是信任透支:值班的人被虚惊叫醒三次,第四次就会先翻个身再看手机——响应速度是被噪音一点点磨掉的,而不是某一天突然消失的。Google SRE 的经验结论很直接:能把人从床上叫起来的告警应该少到屈指可数,其余的要么变成工单,要么删掉。这一篇不绑单一工具,讲告警规则的设计方法论:哪些事值得叫醒人、规则怎么写才不吵、吵起来了怎么降噪。示例用 Prometheus 的规则语法,通知怎么分发到不同渠道,看本系列的 Alertmanager 篇。
第一步:先分清 page 和 ticket
所有告警先过一道分流:它是 page,还是 ticket?
| 类型 | 含义 | 到达方式 | 响应预期 |
|---|---|---|---|
| page | 正在发生、用户正在受损、必须立刻处理 | 电话、短信、强提醒推送 | 分钟级响应,立即处理 |
| ticket | 需要处理,但不紧急 | 工单、邮件、普通群消息 | 上班时间处理即可 |
page 的核心特征是「等到明天早上就来不及了」。磁盘还剩 30%、证书还有 20 天过期、某个批处理任务慢了——这些都重要,但没有一条值得凌晨三点把人叫醒,它们全是 ticket。
告警疲劳的根源,恰恰是这两类混在一起:ticket 级别的事情走 page 的渠道发,次数多了,人对这个渠道整体脱敏,等真正的 page 来了也被当成噪音划过去。分流做不好,后面所有优化都是白搭。
遇到拿不准的边界情况,问两个问题:第一,它能不能等到下一个工作日?能,就降级。第二,不处理的话,影响会不会随时间自动扩大?磁盘缓慢写满、错误预算慢慢烧干这类会扩大的,可以留作 ticket 并设好升级条件;既能等又不会扩大的,连 ticket 都可以斟酌。把判断标准写下来,比逐条争论省事得多。
告警要盯症状,不要盯原因
第二条原则:基于症状告警,而不是基于原因告警。
症状是用户能感知到的东西:请求报错、页面变慢、下单失败。原因是机器内部的状态:CPU 高、内存涨、某个容器重启了。
举例说,「接口 5xx 比例超标」是症状——用户正在实实在在地遇到错误,这条该 page。而「某容器 CPU 使用率超过 90%」是原因——它可能只是批处理在正常干活,也可能被自动扩缩容消化掉,用户毫无感知,这条最多配一张 ticket。
原因型告警还有个毛病:一个症状背后有几十种原因,按原因设告警永远设不全,还特别吵;而症状就那么几个,盯住症状,等于盯住了所有原因的最终汇合点。判断一条告警该不该 page,有个简单标准:如果它触发时你的第一反应是「先看看要不要紧」,那它就不该是 page——page 必须是那种一看就知道「用户正在受损,立刻动手」的。
这不是说原因指标没用。CPU、内存、连接数这些应该老老实实躺在监控面板上,当症状告警触发、开始排查时,它们是定位根因的第一手材料;也可以在症状告警的注释里附上相关面板的链接,让处理的人一键跳过去看。位置摆对了,原因指标是帮手;摆错了,就是噪音源。
四大黄金信号,各配一条告警
不知道从哪下手时,就用四大黄金信号打底(概念本身在 监控概念篇 里讲过):延迟、流量、错误、饱和度。每个面向用户的服务,把这四个信号各配一条告警,基本盘就有了。
错误——最典型的症状型告警,盯 5xx 占总请求的比例,而不是绝对次数(绝对次数会随流量涨落乱报):
groups:- name: symptom-alerts rules: - alert: HttpErrorRateHigh # 过去 5 分钟内 5xx 占总请求的比例超过 5% expr: | sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m])) > 0.05 for: 5m # 持续满 5 分钟才触发,瞬时毛刺不吵人 labels: severity: page annotations: summary: "接口 5xx 比例已达 {{ $value | humanizePercentage }},用户正在遇到报错" runbook_url: "https://wiki.example.com/runbooks/http-5xx"延迟——盯分位数而不是平均值,平均值会把长尾抹平。饱和度——别等资源耗尽才报,按消耗速度预测「还有多久用完」:
- alert: ApiLatencyP99High # p99 延迟超过 1 秒:最慢的那 1% 请求已经明显卡顿 expr: histogram_quantile(0.99, sum(rate(http_request_duration_seconds_bucket[5m])) by (le)) > 1 for: 10m # 延迟类容易抖动,for 给长一点 labels: severity: page
- alert: DiskWillFillIn4Hours # 按过去 6 小时的消耗速度线性预测,4 小时后磁盘写满 expr: predict_linear(node_filesystem_avail_bytes[6h], 4 * 3600) < 0 for: 30m labels: severity: ticket # 4 小时后才满,上班处理来得及,只发工单流量的告警常常被忽略:请求量骤降到接近零,往往比暴涨更可怕——入口断了、DNS 出问题、上游不往你这儿导流了,错误率反而一片正常(因为根本没请求进来)。给核心入口配一条「流量低于基线下限」的告警,成本很低,兜底价值很高。
静态阈值的坑,和 for 的作用
阈值最常见的写法是拍一个固定数字:CPU 超过 80%、延迟超过 1 秒。它的坑在于业务涨了,阈值还停在去年:流量翻倍之后,原本合理的绝对值阈值开始天天误报;或者反过来,服务扩容之后阈值变得永远够不着,形同虚设。对策是能用比例就不用绝对值(错误率、成功率),能用基线对比就不用拍脑袋数字(与上周同期比),实在要用静态阈值的,把它写进季度复盘的检查项里。
for 是另一个降噪主力:条件满足后不立刻触发,持续满设定时长才真正发出。它防的是毛刺——GC 停顿、瞬时抖动、发布过程中的短暂异常,这些持续十几秒就自愈的事情不该惊动任何人。阈值管「有多严重」,for 管「持续了多久」,两个一起用,告警才稳。代价也要心里有数:for 设得越长,发现故障越晚。核心链路的 page 一般给 2–5 分钟,延迟、饱和度这类慢变量可以给到 10–30 分钟。
还有一个配套手法是发布窗口静默:上线、扩缩容、数据迁移这些计划内操作,必然会让一批指标短暂异常。提前在 Alertmanager 里给相关告警设好 silence,比事后在一堆消息里翻找、再逐个解释「这个是发布引起的」要体面得多。静默要设过期时间,过期自动恢复,避免有人忘了取消,把真告警也一起闷掉。
进阶:SLO 多窗口多燃烧率告警
服务有了明确的 SLO(比如月可用性 99.9%,即每月错误预算约 43 分钟)之后,阈值法可以升级成燃烧率告警。思想不复杂:不看错误率的绝对值,看错误预算的消耗速度。预算正以正常速度 14 倍的速度燃烧,意味着照这个势头两天就把一个月的预算烧光——这是 page;以 2 倍速度慢慢烧,是趋势问题,发 ticket 慢慢查。
关键在「多窗口」:单一窗口要么太灵敏(毛刺就报),要么太迟钝(发现时预算已烧掉一半)。做法是大小两个窗口同时确认——1 小时窗口看大盘燃烧速度,5 分钟窗口确认此刻还在烧,两个都超标才触发,既快又不误报。慢烧的那一档同理,只是换成长窗口:3 天窗口的燃烧率持续偏高,说明有个慢性问题在偷预算(某个小版本引入的缓慢劣化最常见),发 ticket 慢慢查,但别拖——慢烧烧干预算的速度比想象中快。
- alert: ErrorBudgetFastBurn # 示意:1 小时与 5 分钟两个窗口的燃烧率同时超标才触发 expr: | (job:slo_errors:ratio_rate1h > (14.4 * 0.001)) and (job:slo_errors:ratio_rate5m > (14.4 * 0.001)) for: 2m labels: severity: page适用门槛要说清:这套方法需要先有定义清楚的 SLO、错误预算和足够大的流量(请求太少时比例毫无统计意义)。个人维护的小服务、内部工具,老老实实用黄金信号加阈值就够了,不要为了时髦硬套。
严重度分级:P1 / P2 / P3
分级不是把 page/ticket 换个名字,而是把「多严重、走什么渠道、多久响应」一次定死,落到规则的 severity 标签上,再由 Alertmanager 按标签路由:
| 级别 | 定义 | 通知渠道 | 响应预期 |
|---|---|---|---|
| P1 | 核心功能不可用,用户大面积受损 | 电话+短信+值班群强提醒 | 5 分钟内响应,立即处理 |
| P2 | 部分功能受损,或不处理会恶化成 P1 | 值班群 @值班人+短信 | 30 分钟内响应,当天处理完 |
| P3 | 隐患、趋势、容量类问题 | 工单或邮件 | 下个工作日处理 |
分级的大忌是通货膨胀:如果一半告警都是 P1,P1 就等于没有分级。个人维护的几台服务器不必照搬大厂的值班体系,小规模的落地形态可以看本系列的舰队监控篇;自建服务场景的通用告警配置,自建服务系列也有一篇监控告警篇可以对照。
每条告警的标配四件套
一条告警写完,逐项检查有没有这四样:
- 可执行:接到就能动手处理,而不是「提示你去看看」。看完还要调查半天才知道干什么的,是监控,不是告警。
- runbook 链接:处理步骤沉淀成文档,链接写进 annotations。新人接手、半夜迷糊时,照着做就行。
- 负责人:用标签标明归属的服务或人。群发所有人的告警,等于没有负责人。
- 用户影响写在第一句:annotations 的摘要先说「用户怎么了」,再说机器指标。「订单接口 5xx 比例 8%,用户下单失败」远好于「http_requests_total 异常」。
一条合格的告警,应该让接手的人在十秒内明白三件事:用户怎么了、影响有多大、第一步做什么。
WARNING没有 runbook 的告警,等于把决策推给半夜被叫醒的人。写规则时如果写不出处理步骤,说明这条告警本身还没想清楚——先补 runbook,或者先降级成 ticket,想清楚了再升级。
反模式清单
对照自查,中招的尽快改:
- 按指标设告警:每个指标都配一条,「全覆盖」的结果是全是噪音。监控可以全覆盖,告警必须挑症状。
- 原因型告警当 page 用:CPU 高、内存高直接打电话,十次里九次虚惊。
- 阈值拍脑袋且从不复盘:上线时随手写的数字,三年没人再看过。
- 不设 for:条件一满足立刻触发,毛刺和发布抖动全变成告警。
- 没有负责人:发到大群里,所有人都觉得别人会处理。
- 一个故障炸出十几条告警:根因只有一条,其余全是连带症状——分组、抑制没做好。
- 告警只加不删:规则文件只涨不缩,迟早没人信它。
- 发到没人看的地方:告警邮箱没人收、群早已全员免打扰,发了等于没发。
定期清理:告警也要做减法
每个季度把告警规则拉出来过一遍,重点盯两类:
- 从不触发的:要么阈值定得永远够不着,要么对应的服务早就下线了。要么修正,要么删除——留着只会给人虚假的安全感。
- 每次触发都被无视的:触发几十次、没人处理过一次、也从没出过事。这种告警比没有这条告警更危险,因为它在持续训练团队忽略告警渠道。处理办法只有两个:修到值得处理,或者删掉、降级。
判断依据是数据:每条告警的触发次数、误报比例、平均处理时长,Alertmanager 和工单系统里都有记录,复盘时拿出来逐条过,不要凭感觉。
具体做法可以很朴素:把过去一个季度每条 page 的触发记录拉出来,逐条标注「真故障、误报、计划内操作」三类。误报占一半以上的规则,要么改阈值,要么直接降级成 ticket;真故障一次没抓到、靠用户投诉才发现的,说明症状告警有缺口,复盘时补上。再看总量趋势:健康的系统里,page 应该稳定在每周个位数的量级。如果连续几个月往上爬,先别怪值班的人响应慢——多半是规则在失控增长,到了该做减法的时候。
上线前自检清单
新告警上线前,逐条打勾:
- 它对应哪个用户症状?说不出来,先别上线
- 是 page 还是 ticket?分级和渠道对得上吗?
- 阈值有依据吗?比例型还是绝对值,为什么?
- 设了 for 防抖吗?时长和信号的快慢匹配吗?
- runbook 链接能打开、步骤照着能执行吗?
- 负责人明确吗?标签打对了吗?
- 摘要第一句写的是用户影响吗?
- 手动触发演练过吗?通知链路真的通吗?
- 恢复时有没有 resolved 通知?不然没人知道它自己好了
小结
告警设计的核心就一句话:少而准。先用 page / ticket 把渠道分开,再用症状优先和四大黄金信号守住基本盘,阈值配上 for 防抖;有了 SLO 之后再考虑燃烧率告警;每条告警带齐可执行、runbook、负责人、用户影响四件套;最后定期做减法,把不触发的和没人理的清理掉。告警系统和代码一样,不维护就会腐烂——区别是,告警腐烂的代价是在真正出事的那个晚上付的。