先说问题:告警的两种死法
前两篇我们装好了 Komari:轻量服务器监控探针部署与多节点接入 和 Uptime Kuma:服务可用性监控与公开状态页,机器和服务都有人盯了。但监控系统真正的考验在通知这一环,而它通常有两种死法:
第一种是该响的不响:通知渠道配错了、Bot 没激活、邮件进了垃圾箱,服务挂了一夜你毫不知情,直到用户找上门。第二种是不该响的乱响:网络抖动一次报三条、磁盘 60% 就半夜夺命连环 Call,一周之后你把通知群设成了免打扰——这一刻,监控系统事实上已经死了。
这篇就干一件事:把「探测到异常」到「问题被处理完」之间的链路设计好。核心目标只有一句:让每一次告警都值得拿起手机,让每一次拿起手机都知道下一步干什么。
告警链路:五环缺一不可
发现异常 → 通知送达 → 有人确认 → 按手册处理 → 复盘改进- 发现靠探测参数:间隔、重试、阈值,决定灵敏度。
- 送达靠渠道配置:发出去不等于收得到,必须实测。
- 确认靠分工:哪怕只有你一个人,也要区分「立刻处理」和「明早再说」。
- 处理靠手册:常见故障写好步骤,凌晨三点不靠脑子靠清单。
- 复盘靠记录:每次真故障留三行字——原因、处理、如何防再发。
下面逐环落地。
通知渠道:选型与配置
| 渠道 | 送达速度 | 可靠性 | 适合级别 |
|---|---|---|---|
| Telegram Bot | 秒级 | 高(需网络通畅) | 全部级别的主力 |
| 邮件 SMTP | 分钟级 | 中,可能进垃圾箱 | 低优先级、日报汇总 |
| Webhook | 秒级 | 取决于接收端 | 联动自动化、转发到其他系统 |
| 短信/电话类服务 | 秒级 | 高,但收费 | 仅核心服务致命故障 |
个人自建的务实组合:Telegram 做主渠道,邮件做备份渠道与汇总渠道。两个渠道都接进 Uptime Kuma,核心监控项同时勾选两个,普通项只勾 Telegram。
Telegram Bot 配置(完整流程)
- 在 Telegram 里找
@BotFather,发送/newbot,按提示起名,拿到 Bot Token。 - 给你的 Bot 随便发一条消息(如
hi)——这一步不能省,Bot 无法主动联系从未与它对话过的用户。 - 浏览器打开
https://api.telegram.org/bot<你的Token>/getUpdates,在返回的 JSON 里找到chat→id,这就是你的 Chat ID。 - 在 Uptime Kuma 的设置 → 通知 → 新增 Telegram,填入 Token 与 Chat ID,保存并发送测试消息。
Bot Token 等同于这个机器人的完全控制权,不要写进截图、博客或公开仓库;泄露了就回 BotFather 用 /revoke 重新生成。
邮件渠道配置要点
用专门的应用密码而不是邮箱主密码(主流邮箱都支持生成应用专用密码);发送测试后如果收不到,先查垃圾箱,再确认 SMTP 的端口与加密方式(465 对应 SSL、587 对应 STARTTLS)配对无误。
Webhook 的位置
Webhook 不直接找人,它负责把告警转发给「能找人的系统」或触发自动化:比如把消息推给家里的智能音箱、写入工单、或联动重启脚本。新手期可以只留一个心智:渠道不够用时,Webhook 是扩展口。
分级与降噪:让告警分轻重
先分级,再谈参数
| 级别 | 定义 | 例子 | 期望响应 |
|---|---|---|---|
| P0 致命 | 核心服务整体不可用 | 反代入口挂、密码库不可达、整机离线 | 立即处理,多渠道齐发 |
| P1 严重 | 功能受损但未全挂 | 磁盘超 85%、证书 7 天内到期、单节点离线 | 当天处理,Telegram 通知 |
| P2 提醒 | 趋势异常 | 流量用量超八成、内存持续走高 | 邮件汇总,有空看 |
降噪四件套
- 重试再报:Uptime Kuma 里给监控项设重试 2–3 次,连续失败才判定 Down。一次抖动不配吵醒任何人。
- 恢复也要报:开启「恢复通知」。知道它自己好了,你就不用爬起来了;没有恢复通知的故障处理,总悬着一颗心。
- 维护窗口静默:计划内重启、升级之前,在 Uptime Kuma 里给相关监控项开维护时段,这段时间的异常不发通知。
- 阈值留缓冲:磁盘告警设两档——80% 发 P2 提醒,92% 才发 P1。把阈值卡在「出事边缘」等于放弃预警,告警的意义就是提前量。
告警太多等于没有告警——如果某个监控项一周误报三次,先修它的参数(间隔、重试、判定方式),不要靠意志力忍受它。忍受的终点一定是全局静音。
心跳监控:盯住那些「不说话」的任务
有一类故障上面的探测都发现不了:定时任务悄悄停了。备份脚本三天没跑,监控面板上一切绿色,因为没有任何东西「坏掉」,只是该来的没来。
解法是 Push 型监控(心跳/Dead Man’s Switch):在 Uptime Kuma 里新建一个 Push 类型的监控项,它会生成一个专属上报地址;让任务在每次成功执行后访问一下这个地址。超过设定时间没等到心跳,就判定异常并告警。备份脚本的收尾加一行即可:
# 备份成功后向 Uptime Kuma 报平安,失败则不会执行到这一行curl -fsS "https://kuma.example.com/api/push/<你的令牌>" > /dev/null把第 11 篇 自建服务备份与迁移实战 里的每个备份任务都这样挂上心跳,「备份到底跑没跑」就从玄学变成了确定答案。
故障处理手册:把经验写下来
处理流程不要临场发挥,写成手册放在手边(笔记软件、仓库 Wiki 都行)。给你一个可以直接套用的骨架:
# 故障处理手册(示例)
## 收到 P0 告警1. 先看状态页/Kuma 列表,确认影响范围:单服务还是整机?2. 整机问题:查云厂商控制台(是否欠费/维护/宿主机故障)3. 单服务问题:进服务目录看日志 cd /opt/apps/<服务> && docker compose logs --tail=1004. 磁盘满是头号嫌疑:df -h 先看一眼5. 处理后观察 10 分钟,确认恢复通知到达6. 在记录表补三行:时间、原因、处理
## 磁盘告警1. du -sh /opt/apps/* 定位大户2. Docker 日志与镜像是常见元凶:docker system df3. 清理后确认备份任务仍正常(别把备份清了)手册的价值不在写得多全,而在于每次故障后顺手修订:这次踩的坑,下次就变成清单里的一行。三个月后,这本手册就是你自己的运维百科。
值班:一个人也要有「值班意识」
自建场景没有团队轮班,但可以有等价安排:
- 分时段策略:P0 全天候直达手机(Telegram 单独关掉免打扰豁免);P1 只在白天推送;P2 走邮件日报。手机系统的「专注模式」可以给 Telegram 开白名单。
- 出差/旅行前检查:提前确认自动续费、证书、磁盘余量,并把手册和登录方式放在手机能打开的地方。
- 恢复确认闭环:处理完不要只看服务恢复,要确认告警系统也回到了正常状态(监控项变绿、恢复通知到达),否则下一次故障它可能还在「已触发未恢复」的怪状态里。
WARNING每月做一次「告警演练」:手动停掉一个不重要的服务,完整走一遍链路——多久收到通知、消息里信息够不够定位、手册步骤顺不顺。演练发现的问题都是免费的,等真故障来教,学费就是停机时间。
排障:通知链路本身出问题时
测试消息能收、真告警收不到:检查该监控项是否勾选了通知渠道(每个监控项单独绑定,新建时容易漏);再看渠道是否被全局暂停。
Telegram 突然全部失联:先用 getUpdates 地址验证 Token 是否还有效,再确认服务器出网正常。Token 被重置过的话,所有引用它的地方都要同步更新。
邮件全进垃圾箱:把发件地址加入通讯录/白名单;有条件的话给发件域名配好 SPF/DKIM,这是发件域名的信誉问题,不是 Kuma 的问题。
同故障重复轰炸:这是监控项在 Up/Down 之间反复横跳。拉长间隔、增加重试、并检查目标服务是不是真的在频繁重启(docker compose ps 看重启次数)——有时「误报」其实是服务在真出问题,只是幅度小到平时没人注意。
常见问题
Q:只用一个通知渠道行不行? P0 级别建议至少两个独立渠道。Telegram 挂了还有邮件,邮件延迟了还有 Telegram——告警渠道本身也需要冗余,这和服务冗余是一个道理。
Q:告警消息里应该包含什么? 最低配:服务名、状态变化(Down/Up)、发生时间、监控详情链接。Uptime Kuma 的默认模板基本够用,别删字段图简洁,出事时每多一个定位线索就少一分钟停机。
Q:家人的服务也要进这套告警吗? 给家人用的服务(如云盘、影音)进监控,但分级可以放低:他们打不开时先看第 4 篇的状态页,确认是故障再找你,告警则按 P1 处理即可。
Q:这套流程会不会太重? 重的是第一次搭建,大约一小时。之后每次故障都在给手册充值。个人自建的运维成熟度,就是这么攒出来的。
小结
监控告警的完整链路是:探测参数决定发现速度、渠道实测决定送达可靠、分级与降噪决定你会不会把它静音、手册决定处理速度、心跳监控补上定时任务这块盲区。把这篇做完,你的自建体系就从「装好了」升级为「有人管」。监控的终点不是大盘和曲线,而是故障发生时,一个人能不慌不忙地把它处理完。接下来回到业务服务本身:从最能提升幸福感的私人云盘开始。