先讲个事故:条条都是真告警,等于没报
凌晨三点,一台机器的宿主机网络抖了一下。接下来十分钟,手机震了两百多次:实例宕机、服务不可用、接口错误率飙升、磁盘延迟异常……点开一看,每一条都是真的——机器确实短暂失联过,所有依赖它的检查当然全红。问题是两百条真告警挤在十分钟里,效果和没报一样:你既分不清哪条是根因,也不知道事态有没有扩大,只能一条条往下翻,翻到最后发现最初那条「实例宕机」才是源头,其余全是连锁反应。
这不是规则写错了,而是告警链缺了最后一环。Prometheus 的职责到「算出哪条规则触发了」为止,它把告警一股脑往外推,不做合并、不做分级、不做去重。把告警收拢成「一件事一条消息」的,是 Alertmanager:同一个故障引发的几十条告警,它按分组捏成一条通知;大故障已经报了,它把同源的小告警先压住;你在维护窗口里,它按静默规则闭嘴。这一篇就把这条链配完整:Prometheus 侧怎么接、规则文件怎么写、路由树怎么分流、Telegram/Webhook/邮件三个接收器怎么落地。
告警链全景:谁干什么
先把分工说清,后面所有配置都挂在这张图上:
| 环节 | 组件 | 职责 |
|---|---|---|
| 采集与计算 | Prometheus | 抓指标、按规则文件评估表达式,触发后把告警推给 Alertmanager |
| 收拢与分发 | Alertmanager | 去重、分组、抑制、静默,按路由树把通知发给不同接收器 |
| 落地 | Telegram / Webhook / 邮件 | 你真正看到消息的地方 |
Alertmanager 官方镜像是 prom/alertmanager,默认监听 9093 端口。它本身不存指标、不算表达式,是个纯粹的「告警邮局」:Prometheus 把信投进来,它负责分拣、合并、按地址投递。所以排障时也要按这个分工来:没收到消息,先分清是信没投进来,还是邮局分拣出了问题。
Prometheus 侧的接入只有两处改动。prometheus.yml 里告诉它 Alertmanager 在哪、规则文件在哪:
# prometheus.yml(节选)alerting: alertmanagers: - static_configs: - targets: - alertmanager:9093 # Docker 网络内用服务名;同机部署可用 localhost:9093
rule_files: - "rules/*.yml"改完重启或热重载 Prometheus,它就会把触发中的告警持续推送给 Alertmanager——注意是「持续推送」:只要告警还在 firing 状态,Prometheus 会周期性重发,Alertmanager 靠这个机制做去重和「恢复通知」,所以链路偶尔抖一下不会丢告警。
规则文件:先有一条能用的告警
规则写在 rule_files 挂载的文件里。先给一条最经典、也最该有的完整规则——实例失联:
groups: - name: instance-health rules: - alert: InstanceDown expr: up == 0 for: 5m labels: severity: critical annotations: summary: "实例 {{ $labels.instance }} 已失联" description: "{{ $labels.job }} 的目标 {{ $labels.instance }} 连续 5 分钟抓取失败,请立即检查。"三个部分各管一件事:expr 是触发条件(up == 0 表示抓取目标失败,表达式写法可回顾 PromQL 查询入门);for: 5m 是防抖——状态持续满 5 分钟才真正 firing,短暂抖动不会打扰你,这一条能挡掉一大半误报;labels.severity 是给 Alertmanager 路由用的分流标签,后面路由树全靠它。annotations 里的 summary 和 description 会被通知模板引用,写成人话,半夜被吵醒时你第一眼看的就是这两行。规则的系统化写法(分级、阈值、录制规则配合)我在 告警规则编写指南 里展开过,这一篇只取一条贯穿全程。
alertmanager.yml:路由、接收器、抑制三大部分
Alertmanager 的全部行为都在一个 alertmanager.yml 里,分三大块:route 路由树、receivers 接收器、inhibit_rules 抑制规则。先看一份完整的最小可用配置,再逐块拆:
global: resolve_timeout: 5m
route: receiver: telegram-default # 默认接收器:没被子路由接走的告警都来这 group_by: ['alertname', 'instance'] group_wait: 30s # 新分组先等 30 秒,把同时到达的告警攒齐再发 group_interval: 5m # 同一组有新告警加入时,距上次通知至少隔 5 分钟 repeat_interval: 4h # 告警一直没恢复,最多每 4 小时重复提醒一次 routes: - matchers: - severity = "critical" receiver: telegram-critical repeat_interval: 30m # 严重级单独覆盖:半小时催一次 - matchers: - severity = "warning" receiver: webhook-warning
receivers: - name: telegram-default telegram_configs: - bot_token: '<在环境变量或挂载文件中填入>' chat_id: 123456789 send_resolved: true
- name: telegram-critical telegram_configs: - bot_token: '<同上>' chat_id: 123456789 send_resolved: true
- name: webhook-warning webhook_configs: - url: 'http://localhost:5001/alert-hook' send_resolved: true
- name: email-team email_configs: - to: 'ops@example.com' from: 'alertmanager@example.com' smarthost: 'smtp.example.com:587' auth_username: 'alertmanager@example.com' auth_password: '<凭据不要明文进仓库>' send_resolved: true
inhibit_rules: - source_matchers: - alertname = "InstanceDown" target_matchers: - severity =~ "warning|critical" equal: ['instance']路由树:按标签把告警分流
route 是一棵树:告警从根节点进入,依次匹配子路由的 matchers,命中就走那个子路由指定的接收器,没命中就落回根节点的默认接收器。上面的例子里,severity: critical 的进 telegram-critical 并把重复提醒加密到 30 分钟一次,warning 的走 Webhook,其余全部进默认 Telegram。分流维度不只有 severity,也可以按 job、team、instance 任意标签组合——原则是让不同重要程度的告警走不同的打扰通道:严重级要能把人叫醒,提醒级进群里留个记录就够了,全挤在一个通道里,最后就是开头那场刷屏事故。
四个时间参数是分组行为的核心,一起讲透:
| 参数 | 作用 | 调大的后果 |
|---|---|---|
group_wait | 新分组第一条告警先等多久再发,等同批告警到齐 | 报得慢,但合并得更干净 |
group_interval | 同一组新增告警时,两次通知的最小间隔 | 故障演进的细节会被攒着晚报 |
repeat_interval | 告警持续未恢复时,重复提醒的间隔 | 太大容易把「还没好」忘了,太小又刷屏 |
resolve_timeout | 多久收不到重发就判定告警已恢复 | 太小会在链路抖动时误发恢复通知 |
接收器:三个最小可用例子
receivers 是命名的投递目标,路由树里引用的就是这些名字。Telegram 是个人和小团队最顺手的:先找 BotFather 建机器人、拿到 bot_token,再把机器人拉进群(或私聊它)拿到 chat_id,填进 telegram_configs 即可;send_resolved: true 别省,恢复通知和触发通知一样重要,不然你永远不知道故障结束没有。Webhook 是最通用的口子,任何能收 HTTP POST 的系统都能接——自建的转发脚本、聊天机器人的自定义集成、工单系统都行,Alertmanager 会把整组告警以 JSON 发过去。邮件是最古老但最可靠的兜底,email_configs 需要一个可用的 SMTP 中继;注意 Gmail 等服务商通常要求应用专用密码,且部分云厂商默认封 25 端口,用 587 提交端口更稳妥。
WARNINGTelegram 的 bot_token 和 SMTP 密码都是凭据,alertmanager.yml 绝不要提交进公开仓库。稳妥做法是把配置文件挂载进容器并收紧文件权限,或把凭据拆到单独文件、用环境变量注入的启动方式管理;一旦 token 泄漏,任何人都能借你的机器人发消息、读会话 ID。
抑制规则:大故障在场时,小告警先闭嘴
inhibit_rules 解决的是开头事故的另一半:根因明确时,连锁告警不要再单独响。上面的规则说的是:当某台 instance 已经触发 InstanceDown(源告警),同一台 instance 上所有 warning 和 critical 告警(目标告警)全部被抑制——机器都失联了,它身上的「接口错误率」「磁盘延迟」自然全红,再逐条发出来纯属噪音。equal: ['instance'] 是关键:抑制只在标签值相同的告警之间生效,不会误伤别的机器。抑制不是删除,告警在 Alertmanager 的 Web UI 里能看到且标着 inhibited 状态,故障恢复后抑制自动解除。
分组、抑制、静默:三件套别混淆
这三个概念名字相近,解决的问题完全不同,配错了会互相打架,单独对比一遍:
| 机制 | 解决的问题 | 生效方式 |
|---|---|---|
| 分组(Grouping) | 同一故障的几十条告警刷屏 | 按标签合并成一条通知,自动、长期有效 |
| 抑制(Inhibition) | 根因告警已报,连锁告警重复打扰 | 大告警在场时压住同源小告警,自动、长期有效 |
| 静默(Silence) | 维护窗口内明知会触发告警 | 人工在 Web UI 创建,按标签匹配、带过期时间 |
一句话记忆:分组管「合并」,抑制管「主次」,静默管「临时」。分组和抑制写在配置文件里长期生效;静默是运行时操作,下面单独说。
校验、热重载与静默操作
改配置最怕写错一个缩进然后服务起不来。Alertmanager 自带命令行工具 amtool,改完先校验再加载:
# 校验配置文件语法与引用完整性amtool check-config alertmanager.yml
# 查看当前实际收到的告警(排障验货用)amtool alert queryamtool alert query --alertmanager.url=http://localhost:9093校验通过后不必重启进程,给它发一个热重载请求即可,新配置立即生效、正在分组的告警不丢失:
curl -X POST http://localhost:9093/-/reloadDocker 部署时也可以用 docker kill -s SIGHUP <容器名> 达到同样效果。养成「改配置 → check-config → reload」三步习惯,能避开绝大多数「改完反而全哑」的事故——配置写错时 Alertmanager 会拒绝加载新配置并保持旧配置运行,表面上看服务没挂,实际你的新路由根本没生效,所以每次 reload 后顺手去 Web UI 的 Status 页确认配置已更新。
静默(Silence)是给维护窗口用的:打开 http://localhost:9093 的 Web UI,进 Silences 页签点 New Silence,填匹配器(比如 instance="db-01")和起止时间,再写一句备注说明在维护什么。到点自动失效,不用记得手动解除。计划内重启、升级、迁移这类「明知道会红一片」的操作,提前建好静默,比事后在一堆告警里翻找省事得多。注意静默匹配的是标签,建之前先用告警列表页确认目标告警的标签拼写,instance 值带不带端口这类细节写错,静默就形同虚设。
排障:Prometheus 里 fired 了,手机却没动静
这是最常见的一类问题:规则明明触发,通知就是不来。按告警的流向逐段排查,不要跳步:
- 规则段:在 Prometheus 的 Alerts 页确认告警状态是 firing 而不是 pending——
for时长没熬满是不会推送的,新规则上线后前几分钟没动静多半是这个原因。 - 推送段:Prometheus 的 Status → Runtime & Build / Targets 之外,重点看它眼中的 Alertmanager 状态:在 Web UI 的 Status 页或
/-/healthy之外,用amtool alert query直接问 Alertmanager——能列出这条告警,说明推送段通了,问题在分发段;列不出,就是 Prometheus 的alerting.alertmanagers目标写错或网络不通。 - 路由段:在 Alertmanager Web UI 的 Alerts 页点开这条告警,看它命中的 receiver 名字对不对。匹配不上预期路由,多半是标签问题:规则里
severity的值拼写、大小写与路由matchers不一致是最常见的坑。 - 接收器段:路由对了仍没消息,查 Alertmanager 日志里的发送错误:Telegram 常见 bot_token 失效、机器人没被拉进群、chat_id 写错;邮件常见 SMTP 认证失败或端口被封;Webhook 常见目标服务没起或返回非 2xx。
- 时间段:通知延迟得离谱时,检查两台机器的系统时间与时区——分组等待、静默窗口、
for时长全都吃系统时钟,时区错位会让静默和分组表现得像闹鬼。服务器统一 NTP 同步,通知里的时间字段也建议在模板里固定时区再看。
另外一个容易忽略的点:告警被抑制或静默时,表面症状也是「没收到」,但那是配置在正常工作——在 Alerts 页能看到 inhibited / silenced 标记,先排除这两种状态,再往链路故障方向查。自建服务里把告警接到现成通知渠道的轻量做法,可对照 自建服务监控告警 那篇;从外网探测可用性的另一条线,则是 黑盒监控 的活儿。
小结
Alertmanager 的价值不在「把消息发出去」——那只是个 HTTP 请求——而在于它站在 Prometheus 和你之间,把告警流先收拢再分发:分组把同一故障的几十条合并成一条,路由按严重程度分到不同打扰通道,抑制让根因告警压住连锁噪音,静默给维护窗口留一个体面的关窗方式。配好这四样,再回头看开头那场事故:宿主机抖动会变成一条「InstanceDown(critical)」加上同组的一串连带告警摘要,而不是两百次震动。告警系统的目标从来不是「一条不漏」,而是每一次打扰都值得被吵醒——这条链配完,你的告警才算从「装了」变成「能用了」。