服务器最怕的不是出故障,而是出了故障你不知道——网站挂了三天,是访问者跑来告诉你的;磁盘写满导致数据库崩掉,你是在查日志的时候才顺带发现的;证书过期那天早上,所有用户看到的是浏览器的大红警告页。
监控要解决的从来不是”把数据画成图”,而是让异常在变成事故之前,先找到你。这一篇讲三件事:该盯哪些指标、用什么方案盯、告警怎么设才真的有用。主线是 Debian,最后给一套可以直接抄走改改就用的巡检脚本加 systemd timer,把磁盘、服务存活、证书到期这三颗最常见的雷一次性排掉。
一、监控到底在监控什么
先把目标说清楚,免得装了一堆仪表盘却什么都没防住。监控的价值只有三条:
| 目标 | 说明 | 例子 |
|---|---|---|
| 发现异常 | 服务挂了、端口不通,第一时间知道 | 网站 502,监控比用户先发现 |
| 提前预警 | 资源还没耗尽时就提醒,留出处理时间 | 磁盘 85% 时告警,而不是 100% 时崩溃 |
| 事后追溯 | 出事之后能查到当时的曲线,定位根因 | 半夜 CPU 打满过一次,醒来能看到几点、涨了多少 |
三条里面,第一条和第二条靠的是告警,第三条靠的是历史数据。很多人的监控只做到了”有个面板可以看”,既没有历史留存,也没有主动告警——平时想不起来看,出事时也指望不上。这里把话说死:没告警的监控等于没监控。面板是给人巡检时看的,告警才是替你 24 小时值班的那个。
所以本篇的思路是:指标可以盯得少而精,告警必须通、必须准、必须能把人叫醒。
二、必盯指标清单
不要一上来就追求”全量指标”。对个人和中小规模的服务器来说,下面这八项覆盖了 95% 以上的真实事故,每一项都给建议阈值和理由:
| 指标 | 看什么 | 建议告警阈值 | 为什么盯它 |
|---|---|---|---|
| CPU 负载 | load average(1/5/15 分钟) | 15 分钟负载持续高于核数 × 1.5 | 负载是综合信号,进程排队、IO 堵塞都会反映在这里 |
| 内存 | 可用内存、Swap 使用量 | 可用内存低于 10%,或 Swap 持续增长 | 内存耗尽会触发 OOM Killer 随机杀进程,死状千奇百怪 |
| 磁盘水位 | 各分区使用率 | 80% 预警、90% 严重 | 日志和数据库只涨不缩,写满是迟早的事,见过太多 |
| inode | inode 使用率 | 80% | 小文件太多时空间没满 inode 先满,症状是”明明有空间却无法创建文件” |
| 服务存活 | 关键进程 / 服务单元状态 | 非 active 立即告警 | 进程崩了、被误杀了、重启后没拉起来,都靠这条兜底 |
| 端口可达 | 对外服务端口从外部探测 | 连续 2~3 次失败 | 本机看着活着、外网连不上(防火墙、云厂商安全组)只有外部探测能发现 |
| 证书到期 | HTTPS 证书剩余天数 | 剩余 14 天预警、7 天严重 | 过期即全站红页,且往往是”突然”发生,专节细讲 |
| 登录异常 | SSH 登录成功 / 失败记录 | 非白名单 IP 成功登录立即告警 | 成功登录里混进一个陌生 IP,就是入侵实锤 |
几个阈值背后的逻辑值得多说一句:
磁盘为什么 80% 就要报。 因为从 80% 到 100% 的速度取决于写入速率,日志爆量、数据库暴涨时可能只要几个小时。等告警阈值设在 95%,留给你的处理时间经常是负数。
负载为什么看 15 分钟而不是瞬时值。 编译、备份、定时任务都会造成短时尖峰,看瞬时值必然误报连连。15 分钟平均负载还压不下来,才是真问题。
内存为什么盯 Swap。 内存使用率本身参考意义有限(Linux 会拿空闲内存做缓存),但 Swap 开始持续被用且不断增长,说明物理内存是真的不够了,这是比”内存使用率 90%“可靠得多的信号。
三、命令行巡检基线:五分钟看完一台机器
任何面板和脚本都替代不了一件事:你自己心里要有”这台机器正常时是什么样”的基线。第一次接手一台机器,或者每月例行,花五分钟跑一遍下面这套组合:
uptime # 开机时长 + 三档负载,和核数对比着看free -h # 内存与 Swap,重点看 available 和 Swap 已用量df -h # 磁盘水位,先扫一眼有没有超过 80% 的分区df -i # inode 使用率,别漏ss -tlnp # 正在监听的 TCP 端口,对一遍是不是都是该开的systemctl --failed # 有没有挂掉的服务单元再加两个”体检”命令:
htop # 交互式看进程排行,谁吃 CPU、谁吃内存一目了然journalctl -p err -b --no-pager | tail -50 # 本次开机以来的错误级日志巡检的关键不在命令本身,而在和基线对比:
- 这台机器平时负载 0.3,今天 2.8 —— 有事;
- 平时根分区 45%,这周 71% —— 有东西在涨,找出是什么在涨;
- 监听端口里多了一个不认识的 —— 要么是你忘了,要么就不是你开的。
WARNING巡检时发现”不认识的监听端口”或”不认识的进程”不要随手杀掉就完事:先记录下进程路径、启动时间和父进程,确认来源再处理。直接 kill 等于销毁现场,真出了安全问题就再也查不清了。
没有基线意识,指标数字再多也只是数字。先知道正常长什么样,异常才认得出来。
四、方案梯度:从脚本到体系
工具方案按”机器数量 × 愿意投入的精力”分四档,没有哪档是错的,选错规模才是错的:
| 方案 | 适合规模 | 能做什么 | 短板 |
|---|---|---|---|
| 自写脚本 + 通知 | 1~3 台 | 查指定指标、超阈值发消息,灵活轻量 | 没有历史曲线,脚本本身要自己维护 |
| Uptime Kuma | 1~10 台 | 专盯存活:HTTP、端口、Ping、证书到期,自带漂亮面板和通知 | 只管”活没活”,不管资源指标 |
| Komari / 哪吒类探针 | 3~30 台 | 多机一屏概览:负载、内存、磁盘、流量、到期时间 | 指标深度有限,告警规则相对简单 |
| Prometheus + Grafana 体系 | 认真做指标时 | 全量指标存储、任意维度查询、复杂告警规则 | 组件多、吃资源、学习成本最高 |
选型建议很简单:
- 只有一两台机器:脚本巡检 + Uptime Kuma 的组合足够,前者管资源,后者管存活和证书;
- 三五台到二三十台:上探针面板做多机概览,省掉逐台登录巡检的时间,告警规则在探针里配;
- 容器很多、要查历史指标定位性能问题:再考虑 Prometheus 体系。容器场景的完整搭法在 Docker 系列的容器监控体系一篇里讲过,这里不重复。
一个常见的误区是按”哪个功能强”选,而不是按”我有几台机器、愿意花多少时间维护监控本身”选。监控系统自己的维护成本必须算进方案里——为了监控三台小机器养一套 Prometheus,多数人最后是把监控先放弃了。
还有一条铁律:监控不要和被监控对象放在同一台机器上。机器整机宕机时,同机的监控会陪葬,连最后一条告警都发不出来。探针面板、Uptime Kuma 尽量放另一台机器或另一个机房。
五、告警通道怎么选
指标采得再全,告警发不出去、发出去没人看,等于零。通道按”能不能半夜把人叫醒”来评估:
| 通道 | 门槛 | 特点 |
|---|---|---|
| 邮件 | 最低,装个发送工具即可 | 可靠但容易被淹没在收件箱里,适合低频的预警类(如证书 14 天提醒) |
| Telegram Bot | 低,建 Bot 拿 Token 即可 | 到达快、手机必看,个人运维最常用;需要服务器能访问 Telegram |
| 企业微信 / 钉钉机器人 | 低,群里加 Webhook 机器人 | 国内到达率好,适合团队;个人用略显正式 |
| 短信 / 电话 | 高,一般走云厂商付费接口 | 叫醒能力最强,只留给最严重级别 |
实际搭配建议:日常预警走 Telegram 或企业微信这类即时消息,严重告警再叠加一层更”吵”的通道。不要把所有级别都堆在同一个通道里——每天响二十次的通道,第三天就会被静音,那之后真正的严重告警也一起聋了。告警降噪是第八节的主题,这里先记住:通道的信誉是被误报一点点败光的。
六、实战:一套自用巡检脚本
下面这套脚本是我建议的起步模板:检查磁盘水位、关键服务存活、指定域名证书剩余天数,任何一项超阈值就发通知。它故意写得朴素——变量都在开头,改成你自己的值就能用。
先建脚本 /usr/local/bin/server-check.sh:
#!/usr/bin/env bash# 服务器巡检:磁盘 / 服务存活 / 证书到期,超阈值发通知set -u
# ============ 按需修改区 ============DISK_WARN=80 # 磁盘使用率预警阈值(%)DISK_CRIT=90 # 磁盘使用率严重阈值(%)CERT_WARN_DAYS=14 # 证书剩余天数预警阈值SERVICES="nginx docker ssh" # 要盯存活的 systemd 服务,空格分隔DOMAINS="example.com blog.example.com" # 要盯证书的域名,空格分隔STATE_FILE="/var/tmp/server-check.state" # 状态文件,用于降噪(见下文)# ===================================
MSG=""
add_msg() { MSG="${MSG}$1\n"; }
# ---- 1. 磁盘水位 ----while read -r mount pct; do pct=${pct%\%} if [ "$pct" -ge "$DISK_CRIT" ]; then add_msg "[严重] 磁盘 ${mount} 已用 ${pct}%" elif [ "$pct" -ge "$DISK_WARN" ]; then add_msg "[预警] 磁盘 ${mount} 已用 ${pct}%" fidone < <(df -P | awk 'NR>1 && $6!~/^\/(dev|run|sys)/ {print $6, $5}')
# ---- 2. 服务存活 ----for svc in $SERVICES; do if ! systemctl is-active --quiet "$svc"; then add_msg "[严重] 服务 ${svc} 未运行" fidone
# ---- 3. 证书到期 ----for d in $DOMAINS; do end=$(echo | openssl s_client -servername "$d" -connect "${d}:443" 2>/dev/null \ | openssl x509 -noout -enddate 2>/dev/null | cut -d= -f2) [ -z "$end" ] && { add_msg "[预警] 域名 ${d} 证书读取失败"; continue; } end_ts=$(date -d "$end" +%s) days=$(( (end_ts - $(date +%s)) / 86400 )) if [ "$days" -lt 0 ]; then add_msg "[严重] 域名 ${d} 证书已过期" elif [ "$days" -le "$CERT_WARN_DAYS" ]; then add_msg "[预警] 域名 ${d} 证书剩余 ${days} 天" fidone
# ---- 4. 发送(降噪:同一批问题只报一次,见第八节)----[ -z "$MSG" ] && { : > "$STATE_FILE"; exit 0; }
HASH=$(printf '%b' "$MSG" | md5sum | cut -d' ' -f1)LAST=$(cat "$STATE_FILE" 2>/dev/null || true)[ "$HASH" = "$LAST" ] && exit 0 # 问题没变化,不重复轰炸echo "$HASH" > "$STATE_FILE"
# ↓↓↓ 把这一段换成你自己的通知通道 ↓↓↓# 示例:Telegram Bot(把 TOKEN 和 CHAT_ID 换成自己的)# curl -s -X POST "https://api.telegram.org/botTOKEN/sendMessage" \# -d "chat_id=CHAT_ID" --data-urlencode "text=$(printf '%b' "$MSG")" > /dev/null# 示例:只写日志(先这样跑通流程,再接通道)logger -t server-check "$(printf '%b' "$MSG")"printf '%b' "$MSG"逐段说明几个关键点:
- 磁盘检查用
df -P保证一行一个文件系统不折行,awk过滤掉/dev、/run这类伪文件系统,只看真实分区;遍历的是挂载点,所以多块盘、多分区都能覆盖。 - 服务存活用
systemctl is-active --quiet,返回非零就是没在跑,判断干净利落。服务名按你的机器改:跑 Docker 的机器盯docker,数据库盯postgresql或mysql。 - 证书检查就是下一节要细讲的
openssl s_client套路,脚本里把到期时间换算成剩余天数再比阈值。 - 发送部分留了占位:先用
logger写进系统日志把全流程跑通,确认脚本逻辑没问题,再把注释里的 Telegram 示例改成你的 Token 和会话 ID 启用——通道最后接,避免调试期乱发消息。
给执行权限,然后手动跑一次验证:
chmod +x /usr/local/bin/server-check.sh/usr/local/bin/server-check.sh; echo "退出码: $?"故意验证一下告警通不通:把 DISK_WARN 临时改成 10 再跑一次,应该立刻收到一条磁盘预警——从没被触发过的告警链路,默认按”坏的”处理,上线前必须人为触发验证一遍。
最后挂上 systemd timer,每 30 分钟跑一次。服务单元 /etc/systemd/system/server-check.service:
[Unit]Description=Server inspection checks
[Service]Type=oneshotExecStart=/usr/local/bin/server-check.sh定时器 /etc/systemd/system/server-check.timer:
[Unit]Description=Run server inspection every 30 minutes
[Timer]OnBootSec=5minOnUnitActiveSec=30minUnit=server-check.service
[Install]WantedBy=timers.target启用并确认在跑:
systemctl daemon-reloadsystemctl enable --now server-check.timersystemctl list-timers server-check.timer # 看下一次触发时间journalctl -u server-check.service -n 50 # 看历次执行日志用 timer 而不是 cron 的好处是执行记录、失败状态都在 journal 里,systemctl status 一眼能看到上次跑没跑、挂没挂——这一点第九节还会用到。
七、证书到期:最高频的”突然打不开”
在所有”网站突然打不开”的事故里,证书过期稳居前列,而且它有个最气人的特点:过期之前毫无征兆,过期瞬间全站瘫痪。Let’s Encrypt 的证书只有 90 天,自动续期一旦因为 DNS、端口、配置变动失败一次,没人盯着就会直接过期给你看。
手动查任意域名证书到期日的命令记住这一条就够:
echo | openssl s_client -servername example.com -connect example.com:443 2>/dev/null \ | openssl x509 -noout -dates -issuer输出类似:
notBefore=Oct 18 03:00:00 2026 GMTnotAfter=Jan 16 03:00:00 2027 GMTissuer=C = US, O = Let's Encrypt, CN = R12几个细节:-servername 是 SNI,一个 IP 上挂多个证书时不写它查到的可能是默认证书,结果会误导你;echo | 是为了让 openssl s_client 读完证书立刻退出,不要省。只想要剩余天数的话,把上一节脚本里那段换算单独拎出来用也行。
防御上做两件事就够:续期走自动化(certbot 的 timer 或反代自带续期),监控里给证书留 14 天和 7 天两档提醒——14 天那档是给”自动续期失败了”留的人工处理窗口,7 天那档就是最后通牒。
八、告警降噪:别让告警疲劳毁掉通道
告警系统最常见的死法不是漏报,是误报太多把人逼到关通知。所以降噪不是锦上添花,是保命设置。四条原则:
- 阈值分级。预警和严重分开:预警进消息通道看一眼就行,严重才升级到更吵的通道。上一节脚本里磁盘 80/90 两档、消息里带
[预警]/[严重]前缀,就是这个意思。 - 连续失败再报。端口探测、HTTP 探测这类受网络抖动影响的检查,要求连续 2~3 次失败才发告警。抖一下就恢复的那种,报出来纯属消耗信任。
- 同一问题只报一次,恢复再报一次。脚本里的状态文件就是干这个的:把本轮问题清单算个哈希,和上轮一样就说明问题没变化、已经报过了,闭嘴;问题集合变了(新增、消失)才再发。服务恢复时发一条”已恢复”,让人知道可以安心了,而不是一直惦记。
- 定期复盘误报。每条让你白紧张一次的告警,都要回去调阈值或加条件。误报不是忍一忍的事,它在透支整个通道的信誉。
九、排障
告警没发出来
按链路从后往前查:
- 脚本到底跑没跑:
systemctl list-timers看 timer 在不在,journalctl -u server-check.service看执行记录;timer 没启用、脚本没执行权限,是最常见的两种。 - 脚本跑了但判断没触发:手动执行一次脚本,把阈值临时调低人为触发(第六节的方法),区分是”没问题”还是”判断逻辑坏了”。
- 判断触发了但消息没到:单独拿
curl把通知请求发一遍看返回,Token 失效、会话 ID 写错、服务器出不了外网,都在这一步现形。
还有一层元问题:监控本身也要被监控。巡检脚本所在的机器整机宕机时,它一条告警也发不出来——所以存活探测(Ping、端口)一定要由另一台机器从外部来做,比如 Uptime Kuma 放在第二台机器上探第一台,两台互相探,谁死了都有人喊。
指标看着正常,但服务已经死了
这是新手最容易栽的坑:面板上 CPU、内存、磁盘全绿,用户却说打不开。原因是指标和存活是两个维度——进程僵死、端口假死、应用层卡死时,资源指标完全可以一切正常。对策就是第二节清单里把两者分开盯:资源指标归资源指标,服务存活必须用”进程状态 + 端口探测 + HTTP 状态码”单独验证,缺一不可。反过来也一样:端口通、返回 200,也不代表磁盘三天后不会写满。两个维度都齐了,监控才算完整。
探针面板全红但网站能打开
先别慌着救网站——大概率是探针 agent 掉线、面板机器网络问题,或者 agent 版本升级后不兼容。用浏览器直接访问网站、再 SSH 登录看一眼服务状态,确认是”监控坏了”而不是”服务坏了”,然后修监控。把这两类故障分清,能省掉很多半夜的无效折腾。
小结
- 监控的目的是发现异常、提前预警、事后追溯,核心在告警,不在面板;
- 必盯八项:负载、内存与 Swap、磁盘水位、inode、服务存活、端口可达、证书到期、登录异常,阈值宁可保守留足处理时间;
- 先用命令行巡检建立”正常长什么样”的基线,再谈任何工具;
- 方案按规模选:脚本 + Uptime Kuma 起步,多机上探针面板,深挖指标才上 Prometheus 体系,且监控别和被监控对象同机;
- 告警通道要分级、能叫醒人,降噪四原则(分级、连续失败再报、状态去重、复盘误报)决定这套系统能活多久;
- 证书是最高频的隐形雷,
openssl s_client查到期、14 天预警必须有; - 最后记住:监控本身也要被监控,存活探测永远从外部、从另一台机器发起。