3406 字
17 分钟
监控与可观测性:Alertmanager 告警链实战,分组抑制静默一次配好

先讲个事故:条条都是真告警,等于没报#

凌晨三点,一台机器的宿主机网络抖了一下。接下来十分钟,手机震了两百多次:实例宕机、服务不可用、接口错误率飙升、磁盘延迟异常……点开一看,每一条都是真的——机器确实短暂失联过,所有依赖它的检查当然全红。问题是两百条真告警挤在十分钟里,效果和没报一样:你既分不清哪条是根因,也不知道事态有没有扩大,只能一条条往下翻,翻到最后发现最初那条「实例宕机」才是源头,其余全是连锁反应。

这不是规则写错了,而是告警链缺了最后一环。Prometheus 的职责到「算出哪条规则触发了」为止,它把告警一股脑往外推,不做合并、不做分级、不做去重。把告警收拢成「一件事一条消息」的,是 Alertmanager:同一个故障引发的几十条告警,它按分组捏成一条通知;大故障已经报了,它把同源的小告警先压住;你在维护窗口里,它按静默规则闭嘴。这一篇就把这条链配完整:Prometheus 侧怎么接、规则文件怎么写、路由树怎么分流、Telegram/Webhook/邮件三个接收器怎么落地。

项目地址:https://github.com/prometheus/alertmanager

告警链全景:谁干什么#

先把分工说清,后面所有配置都挂在这张图上:

环节组件职责
采集与计算Prometheus抓指标、按规则文件评估表达式,触发后把告警推给 Alertmanager
收拢与分发Alertmanager去重、分组、抑制、静默,按路由树把通知发给不同接收器
落地Telegram / Webhook / 邮件你真正看到消息的地方

Alertmanager 官方镜像是 prom/alertmanager,默认监听 9093 端口。它本身不存指标、不算表达式,是个纯粹的「告警邮局」:Prometheus 把信投进来,它负责分拣、合并、按地址投递。所以排障时也要按这个分工来:没收到消息,先分清是信没投进来,还是邮局分拣出了问题。

Prometheus 侧的接入只有两处改动。prometheus.yml 里告诉它 Alertmanager 在哪、规则文件在哪:

# prometheus.yml(节选)
alerting:
alertmanagers:
- static_configs:
- targets:
- alertmanager:9093 # Docker 网络内用服务名;同机部署可用 localhost:9093
rule_files:
- "rules/*.yml"

改完重启或热重载 Prometheus,它就会把触发中的告警持续推送给 Alertmanager——注意是「持续推送」:只要告警还在 firing 状态,Prometheus 会周期性重发,Alertmanager 靠这个机制做去重和「恢复通知」,所以链路偶尔抖一下不会丢告警。

规则文件:先有一条能用的告警#

规则写在 rule_files 挂载的文件里。先给一条最经典、也最该有的完整规则——实例失联:

rules/node.yml
groups:
- name: instance-health
rules:
- alert: InstanceDown
expr: up == 0
for: 5m
labels:
severity: critical
annotations:
summary: "实例 {{ $labels.instance }} 已失联"
description: "{{ $labels.job }} 的目标 {{ $labels.instance }} 连续 5 分钟抓取失败,请立即检查。"

三个部分各管一件事:expr 是触发条件(up == 0 表示抓取目标失败,表达式写法可回顾 PromQL 查询入门);for: 5m 是防抖——状态持续满 5 分钟才真正 firing,短暂抖动不会打扰你,这一条能挡掉一大半误报;labels.severity 是给 Alertmanager 路由用的分流标签,后面路由树全靠它。annotations 里的 summary 和 description 会被通知模板引用,写成人话,半夜被吵醒时你第一眼看的就是这两行。规则的系统化写法(分级、阈值、录制规则配合)我在 告警规则编写指南 里展开过,这一篇只取一条贯穿全程。

alertmanager.yml:路由、接收器、抑制三大部分#

Alertmanager 的全部行为都在一个 alertmanager.yml 里,分三大块:route 路由树、receivers 接收器、inhibit_rules 抑制规则。先看一份完整的最小可用配置,再逐块拆:

alertmanager.yml
global:
resolve_timeout: 5m
route:
receiver: telegram-default # 默认接收器:没被子路由接走的告警都来这
group_by: ['alertname', 'instance']
group_wait: 30s # 新分组先等 30 秒,把同时到达的告警攒齐再发
group_interval: 5m # 同一组有新告警加入时,距上次通知至少隔 5 分钟
repeat_interval: 4h # 告警一直没恢复,最多每 4 小时重复提醒一次
routes:
- matchers:
- severity = "critical"
receiver: telegram-critical
repeat_interval: 30m # 严重级单独覆盖:半小时催一次
- matchers:
- severity = "warning"
receiver: webhook-warning
receivers:
- name: telegram-default
telegram_configs:
- bot_token: '<在环境变量或挂载文件中填入>'
chat_id: 123456789
send_resolved: true
- name: telegram-critical
telegram_configs:
- bot_token: '<同上>'
chat_id: 123456789
send_resolved: true
- name: webhook-warning
webhook_configs:
- url: 'http://localhost:5001/alert-hook'
send_resolved: true
- name: email-team
email_configs:
- to: 'ops@example.com'
from: 'alertmanager@example.com'
smarthost: 'smtp.example.com:587'
auth_username: 'alertmanager@example.com'
auth_password: '<凭据不要明文进仓库>'
send_resolved: true
inhibit_rules:
- source_matchers:
- alertname = "InstanceDown"
target_matchers:
- severity =~ "warning|critical"
equal: ['instance']

路由树:按标签把告警分流#

route 是一棵树:告警从根节点进入,依次匹配子路由的 matchers,命中就走那个子路由指定的接收器,没命中就落回根节点的默认接收器。上面的例子里,severity: critical 的进 telegram-critical 并把重复提醒加密到 30 分钟一次,warning 的走 Webhook,其余全部进默认 Telegram。分流维度不只有 severity,也可以按 job、team、instance 任意标签组合——原则是让不同重要程度的告警走不同的打扰通道:严重级要能把人叫醒,提醒级进群里留个记录就够了,全挤在一个通道里,最后就是开头那场刷屏事故。

四个时间参数是分组行为的核心,一起讲透:

参数作用调大的后果
group_wait新分组第一条告警先等多久再发,等同批告警到齐报得慢,但合并得更干净
group_interval同一组新增告警时,两次通知的最小间隔故障演进的细节会被攒着晚报
repeat_interval告警持续未恢复时,重复提醒的间隔太大容易把「还没好」忘了,太小又刷屏
resolve_timeout多久收不到重发就判定告警已恢复太小会在链路抖动时误发恢复通知

接收器:三个最小可用例子#

receivers 是命名的投递目标,路由树里引用的就是这些名字。Telegram 是个人和小团队最顺手的:先找 BotFather 建机器人、拿到 bot_token,再把机器人拉进群(或私聊它)拿到 chat_id,填进 telegram_configs 即可;send_resolved: true 别省,恢复通知和触发通知一样重要,不然你永远不知道故障结束没有。Webhook 是最通用的口子,任何能收 HTTP POST 的系统都能接——自建的转发脚本、聊天机器人的自定义集成、工单系统都行,Alertmanager 会把整组告警以 JSON 发过去。邮件是最古老但最可靠的兜底,email_configs 需要一个可用的 SMTP 中继;注意 Gmail 等服务商通常要求应用专用密码,且部分云厂商默认封 25 端口,用 587 提交端口更稳妥。

WARNING

Telegram 的 bot_token 和 SMTP 密码都是凭据,alertmanager.yml 绝不要提交进公开仓库。稳妥做法是把配置文件挂载进容器并收紧文件权限,或把凭据拆到单独文件、用环境变量注入的启动方式管理;一旦 token 泄漏,任何人都能借你的机器人发消息、读会话 ID。

抑制规则:大故障在场时,小告警先闭嘴#

inhibit_rules 解决的是开头事故的另一半:根因明确时,连锁告警不要再单独响。上面的规则说的是:当某台 instance 已经触发 InstanceDown(源告警),同一台 instance 上所有 warning 和 critical 告警(目标告警)全部被抑制——机器都失联了,它身上的「接口错误率」「磁盘延迟」自然全红,再逐条发出来纯属噪音。equal: ['instance'] 是关键:抑制只在标签值相同的告警之间生效,不会误伤别的机器。抑制不是删除,告警在 Alertmanager 的 Web UI 里能看到且标着 inhibited 状态,故障恢复后抑制自动解除。

分组、抑制、静默:三件套别混淆#

这三个概念名字相近,解决的问题完全不同,配错了会互相打架,单独对比一遍:

机制解决的问题生效方式
分组(Grouping)同一故障的几十条告警刷屏按标签合并成一条通知,自动、长期有效
抑制(Inhibition)根因告警已报,连锁告警重复打扰大告警在场时压住同源小告警,自动、长期有效
静默(Silence)维护窗口内明知会触发告警人工在 Web UI 创建,按标签匹配、带过期时间

一句话记忆:分组管「合并」,抑制管「主次」,静默管「临时」。分组和抑制写在配置文件里长期生效;静默是运行时操作,下面单独说。

校验、热重载与静默操作#

改配置最怕写错一个缩进然后服务起不来。Alertmanager 自带命令行工具 amtool,改完先校验再加载:

Terminal window
# 校验配置文件语法与引用完整性
amtool check-config alertmanager.yml
# 查看当前实际收到的告警(排障验货用)
amtool alert query
amtool alert query --alertmanager.url=http://localhost:9093

校验通过后不必重启进程,给它发一个热重载请求即可,新配置立即生效、正在分组的告警不丢失:

Terminal window
curl -X POST http://localhost:9093/-/reload

Docker 部署时也可以用 docker kill -s SIGHUP <容器名> 达到同样效果。养成「改配置 → check-config → reload」三步习惯,能避开绝大多数「改完反而全哑」的事故——配置写错时 Alertmanager 会拒绝加载新配置并保持旧配置运行,表面上看服务没挂,实际你的新路由根本没生效,所以每次 reload 后顺手去 Web UI 的 Status 页确认配置已更新。

静默(Silence)是给维护窗口用的:打开 http://localhost:9093 的 Web UI,进 Silences 页签点 New Silence,填匹配器(比如 instance="db-01")和起止时间,再写一句备注说明在维护什么。到点自动失效,不用记得手动解除。计划内重启、升级、迁移这类「明知道会红一片」的操作,提前建好静默,比事后在一堆告警里翻找省事得多。注意静默匹配的是标签,建之前先用告警列表页确认目标告警的标签拼写,instance 值带不带端口这类细节写错,静默就形同虚设。

排障:Prometheus 里 fired 了,手机却没动静#

这是最常见的一类问题:规则明明触发,通知就是不来。按告警的流向逐段排查,不要跳步:

  1. 规则段:在 Prometheus 的 Alerts 页确认告警状态是 firing 而不是 pending——for 时长没熬满是不会推送的,新规则上线后前几分钟没动静多半是这个原因。
  2. 推送段:Prometheus 的 Status → Runtime & Build / Targets 之外,重点看它眼中的 Alertmanager 状态:在 Web UI 的 Status 页或 /-/healthy 之外,用 amtool alert query 直接问 Alertmanager——能列出这条告警,说明推送段通了,问题在分发段;列不出,就是 Prometheus 的 alerting.alertmanagers 目标写错或网络不通。
  3. 路由段:在 Alertmanager Web UI 的 Alerts 页点开这条告警,看它命中的 receiver 名字对不对。匹配不上预期路由,多半是标签问题:规则里 severity 的值拼写、大小写与路由 matchers 不一致是最常见的坑。
  4. 接收器段:路由对了仍没消息,查 Alertmanager 日志里的发送错误:Telegram 常见 bot_token 失效、机器人没被拉进群、chat_id 写错;邮件常见 SMTP 认证失败或端口被封;Webhook 常见目标服务没起或返回非 2xx。
  5. 时间段:通知延迟得离谱时,检查两台机器的系统时间与时区——分组等待、静默窗口、for 时长全都吃系统时钟,时区错位会让静默和分组表现得像闹鬼。服务器统一 NTP 同步,通知里的时间字段也建议在模板里固定时区再看。

另外一个容易忽略的点:告警被抑制或静默时,表面症状也是「没收到」,但那是配置在正常工作——在 Alerts 页能看到 inhibited / silenced 标记,先排除这两种状态,再往链路故障方向查。自建服务里把告警接到现成通知渠道的轻量做法,可对照 自建服务监控告警 那篇;从外网探测可用性的另一条线,则是 黑盒监控 的活儿。

小结#

Alertmanager 的价值不在「把消息发出去」——那只是个 HTTP 请求——而在于它站在 Prometheus 和你之间,把告警流先收拢再分发:分组把同一故障的几十条合并成一条,路由按严重程度分到不同打扰通道,抑制让根因告警压住连锁噪音,静默给维护窗口留一个体面的关窗方式。配好这四样,再回头看开头那场事故:宿主机抖动会变成一条「InstanceDown(critical)」加上同组的一串连带告警摘要,而不是两百次震动。告警系统的目标从来不是「一条不漏」,而是每一次打扰都值得被吵醒——这条链配完,你的告警才算从「装了」变成「能用了」。

监控与可观测性:Alertmanager 告警链实战,分组抑制静默一次配好
https://www.anexns.cloudns.org/posts/monitoring-alertmanager/
作者
Anexns
发布于
2026-11-16
许可协议
CC BY-NC-SA 4.0