4768 字
24 分钟
服务器监控与告警实战
2026-11-15

服务器最怕的不是出故障,而是出了故障你不知道——网站挂了三天,是访问者跑来告诉你的;磁盘写满导致数据库崩掉,你是在查日志的时候才顺带发现的;证书过期那天早上,所有用户看到的是浏览器的大红警告页。

监控要解决的从来不是”把数据画成图”,而是让异常在变成事故之前,先找到你。这一篇讲三件事:该盯哪些指标、用什么方案盯、告警怎么设才真的有用。主线是 Debian,最后给一套可以直接抄走改改就用的巡检脚本加 systemd timer,把磁盘、服务存活、证书到期这三颗最常见的雷一次性排掉。

一、监控到底在监控什么#

先把目标说清楚,免得装了一堆仪表盘却什么都没防住。监控的价值只有三条:

目标说明例子
发现异常服务挂了、端口不通,第一时间知道网站 502,监控比用户先发现
提前预警资源还没耗尽时就提醒,留出处理时间磁盘 85% 时告警,而不是 100% 时崩溃
事后追溯出事之后能查到当时的曲线,定位根因半夜 CPU 打满过一次,醒来能看到几点、涨了多少

三条里面,第一条和第二条靠的是告警,第三条靠的是历史数据。很多人的监控只做到了”有个面板可以看”,既没有历史留存,也没有主动告警——平时想不起来看,出事时也指望不上。这里把话说死:没告警的监控等于没监控。面板是给人巡检时看的,告警才是替你 24 小时值班的那个。

所以本篇的思路是:指标可以盯得少而精,告警必须通、必须准、必须能把人叫醒。

二、必盯指标清单#

不要一上来就追求”全量指标”。对个人和中小规模的服务器来说,下面这八项覆盖了 95% 以上的真实事故,每一项都给建议阈值和理由:

指标看什么建议告警阈值为什么盯它
CPU 负载load average(1/5/15 分钟)15 分钟负载持续高于核数 × 1.5负载是综合信号,进程排队、IO 堵塞都会反映在这里
内存可用内存、Swap 使用量可用内存低于 10%,或 Swap 持续增长内存耗尽会触发 OOM Killer 随机杀进程,死状千奇百怪
磁盘水位各分区使用率80% 预警、90% 严重日志和数据库只涨不缩,写满是迟早的事,见过太多
inodeinode 使用率80%小文件太多时空间没满 inode 先满,症状是”明明有空间却无法创建文件”
服务存活关键进程 / 服务单元状态非 active 立即告警进程崩了、被误杀了、重启后没拉起来,都靠这条兜底
端口可达对外服务端口从外部探测连续 2~3 次失败本机看着活着、外网连不上(防火墙、云厂商安全组)只有外部探测能发现
证书到期HTTPS 证书剩余天数剩余 14 天预警、7 天严重过期即全站红页,且往往是”突然”发生,专节细讲
登录异常SSH 登录成功 / 失败记录非白名单 IP 成功登录立即告警成功登录里混进一个陌生 IP,就是入侵实锤

几个阈值背后的逻辑值得多说一句:

磁盘为什么 80% 就要报。 因为从 80% 到 100% 的速度取决于写入速率,日志爆量、数据库暴涨时可能只要几个小时。等告警阈值设在 95%,留给你的处理时间经常是负数。

负载为什么看 15 分钟而不是瞬时值。 编译、备份、定时任务都会造成短时尖峰,看瞬时值必然误报连连。15 分钟平均负载还压不下来,才是真问题。

内存为什么盯 Swap。 内存使用率本身参考意义有限(Linux 会拿空闲内存做缓存),但 Swap 开始持续被用且不断增长,说明物理内存是真的不够了,这是比”内存使用率 90%“可靠得多的信号。

三、命令行巡检基线:五分钟看完一台机器#

任何面板和脚本都替代不了一件事:你自己心里要有”这台机器正常时是什么样”的基线。第一次接手一台机器,或者每月例行,花五分钟跑一遍下面这套组合:

Terminal window
uptime # 开机时长 + 三档负载,和核数对比着看
free -h # 内存与 Swap,重点看 available 和 Swap 已用量
df -h # 磁盘水位,先扫一眼有没有超过 80% 的分区
df -i # inode 使用率,别漏
ss -tlnp # 正在监听的 TCP 端口,对一遍是不是都是该开的
systemctl --failed # 有没有挂掉的服务单元

再加两个”体检”命令:

Terminal window
htop # 交互式看进程排行,谁吃 CPU、谁吃内存一目了然
journalctl -p err -b --no-pager | tail -50 # 本次开机以来的错误级日志

巡检的关键不在命令本身,而在和基线对比:

  • 这台机器平时负载 0.3,今天 2.8 —— 有事;
  • 平时根分区 45%,这周 71% —— 有东西在涨,找出是什么在涨;
  • 监听端口里多了一个不认识的 —— 要么是你忘了,要么就不是你开的。
WARNING

巡检时发现”不认识的监听端口”或”不认识的进程”不要随手杀掉就完事:先记录下进程路径、启动时间和父进程,确认来源再处理。直接 kill 等于销毁现场,真出了安全问题就再也查不清了。

没有基线意识,指标数字再多也只是数字。先知道正常长什么样,异常才认得出来。

四、方案梯度:从脚本到体系#

工具方案按”机器数量 × 愿意投入的精力”分四档,没有哪档是错的,选错规模才是错的:

方案适合规模能做什么短板
自写脚本 + 通知1~3 台查指定指标、超阈值发消息,灵活轻量没有历史曲线,脚本本身要自己维护
Uptime Kuma1~10 台专盯存活:HTTP、端口、Ping、证书到期,自带漂亮面板和通知只管”活没活”,不管资源指标
Komari / 哪吒类探针3~30 台多机一屏概览:负载、内存、磁盘、流量、到期时间指标深度有限,告警规则相对简单
Prometheus + Grafana 体系认真做指标时全量指标存储、任意维度查询、复杂告警规则组件多、吃资源、学习成本最高

选型建议很简单:

  • 只有一两台机器:脚本巡检 + Uptime Kuma 的组合足够,前者管资源,后者管存活和证书;
  • 三五台到二三十台:上探针面板做多机概览,省掉逐台登录巡检的时间,告警规则在探针里配;
  • 容器很多、要查历史指标定位性能问题:再考虑 Prometheus 体系。容器场景的完整搭法在 Docker 系列的容器监控体系一篇里讲过,这里不重复。

一个常见的误区是按”哪个功能强”选,而不是按”我有几台机器、愿意花多少时间维护监控本身”选。监控系统自己的维护成本必须算进方案里——为了监控三台小机器养一套 Prometheus,多数人最后是把监控先放弃了。

还有一条铁律:监控不要和被监控对象放在同一台机器上。机器整机宕机时,同机的监控会陪葬,连最后一条告警都发不出来。探针面板、Uptime Kuma 尽量放另一台机器或另一个机房。

五、告警通道怎么选#

指标采得再全,告警发不出去、发出去没人看,等于零。通道按”能不能半夜把人叫醒”来评估:

通道门槛特点
邮件最低,装个发送工具即可可靠但容易被淹没在收件箱里,适合低频的预警类(如证书 14 天提醒)
Telegram Bot低,建 Bot 拿 Token 即可到达快、手机必看,个人运维最常用;需要服务器能访问 Telegram
企业微信 / 钉钉机器人低,群里加 Webhook 机器人国内到达率好,适合团队;个人用略显正式
短信 / 电话高,一般走云厂商付费接口叫醒能力最强,只留给最严重级别

实际搭配建议:日常预警走 Telegram 或企业微信这类即时消息,严重告警再叠加一层更”吵”的通道。不要把所有级别都堆在同一个通道里——每天响二十次的通道,第三天就会被静音,那之后真正的严重告警也一起聋了。告警降噪是第八节的主题,这里先记住:通道的信誉是被误报一点点败光的。

六、实战:一套自用巡检脚本#

下面这套脚本是我建议的起步模板:检查磁盘水位、关键服务存活、指定域名证书剩余天数,任何一项超阈值就发通知。它故意写得朴素——变量都在开头,改成你自己的值就能用。

先建脚本 /usr/local/bin/server-check.sh:

#!/usr/bin/env bash
# 服务器巡检:磁盘 / 服务存活 / 证书到期,超阈值发通知
set -u
# ============ 按需修改区 ============
DISK_WARN=80 # 磁盘使用率预警阈值(%)
DISK_CRIT=90 # 磁盘使用率严重阈值(%)
CERT_WARN_DAYS=14 # 证书剩余天数预警阈值
SERVICES="nginx docker ssh" # 要盯存活的 systemd 服务,空格分隔
DOMAINS="example.com blog.example.com" # 要盯证书的域名,空格分隔
STATE_FILE="/var/tmp/server-check.state" # 状态文件,用于降噪(见下文)
# ===================================
MSG=""
add_msg() { MSG="${MSG}$1\n"; }
# ---- 1. 磁盘水位 ----
while read -r mount pct; do
pct=${pct%\%}
if [ "$pct" -ge "$DISK_CRIT" ]; then
add_msg "[严重] 磁盘 ${mount} 已用 ${pct}%"
elif [ "$pct" -ge "$DISK_WARN" ]; then
add_msg "[预警] 磁盘 ${mount} 已用 ${pct}%"
fi
done < <(df -P | awk 'NR>1 && $6!~/^\/(dev|run|sys)/ {print $6, $5}')
# ---- 2. 服务存活 ----
for svc in $SERVICES; do
if ! systemctl is-active --quiet "$svc"; then
add_msg "[严重] 服务 ${svc} 未运行"
fi
done
# ---- 3. 证书到期 ----
for d in $DOMAINS; do
end=$(echo | openssl s_client -servername "$d" -connect "${d}:443" 2>/dev/null \
| openssl x509 -noout -enddate 2>/dev/null | cut -d= -f2)
[ -z "$end" ] && { add_msg "[预警] 域名 ${d} 证书读取失败"; continue; }
end_ts=$(date -d "$end" +%s)
days=$(( (end_ts - $(date +%s)) / 86400 ))
if [ "$days" -lt 0 ]; then
add_msg "[严重] 域名 ${d} 证书已过期"
elif [ "$days" -le "$CERT_WARN_DAYS" ]; then
add_msg "[预警] 域名 ${d} 证书剩余 ${days} 天"
fi
done
# ---- 4. 发送(降噪:同一批问题只报一次,见第八节)----
[ -z "$MSG" ] && { : > "$STATE_FILE"; exit 0; }
HASH=$(printf '%b' "$MSG" | md5sum | cut -d' ' -f1)
LAST=$(cat "$STATE_FILE" 2>/dev/null || true)
[ "$HASH" = "$LAST" ] && exit 0 # 问题没变化,不重复轰炸
echo "$HASH" > "$STATE_FILE"
# ↓↓↓ 把这一段换成你自己的通知通道 ↓↓↓
# 示例:Telegram Bot(把 TOKEN 和 CHAT_ID 换成自己的)
# curl -s -X POST "https://api.telegram.org/botTOKEN/sendMessage" \
# -d "chat_id=CHAT_ID" --data-urlencode "text=$(printf '%b' "$MSG")" > /dev/null
# 示例:只写日志(先这样跑通流程,再接通道)
logger -t server-check "$(printf '%b' "$MSG")"
printf '%b' "$MSG"

逐段说明几个关键点:

  • 磁盘检查用 df -P 保证一行一个文件系统不折行,awk 过滤掉 /dev、/run 这类伪文件系统,只看真实分区;遍历的是挂载点,所以多块盘、多分区都能覆盖。
  • 服务存活用 systemctl is-active --quiet,返回非零就是没在跑,判断干净利落。服务名按你的机器改:跑 Docker 的机器盯 docker,数据库盯 postgresql 或 mysql。
  • 证书检查就是下一节要细讲的 openssl s_client 套路,脚本里把到期时间换算成剩余天数再比阈值。
  • 发送部分留了占位:先用 logger 写进系统日志把全流程跑通,确认脚本逻辑没问题,再把注释里的 Telegram 示例改成你的 Token 和会话 ID 启用——通道最后接,避免调试期乱发消息。

给执行权限,然后手动跑一次验证:

Terminal window
chmod +x /usr/local/bin/server-check.sh
/usr/local/bin/server-check.sh; echo "退出码: $?"

故意验证一下告警通不通:把 DISK_WARN 临时改成 10 再跑一次,应该立刻收到一条磁盘预警——从没被触发过的告警链路,默认按”坏的”处理,上线前必须人为触发验证一遍。

最后挂上 systemd timer,每 30 分钟跑一次。服务单元 /etc/systemd/system/server-check.service:

[Unit]
Description=Server inspection checks
[Service]
Type=oneshot
ExecStart=/usr/local/bin/server-check.sh

定时器 /etc/systemd/system/server-check.timer:

[Unit]
Description=Run server inspection every 30 minutes
[Timer]
OnBootSec=5min
OnUnitActiveSec=30min
Unit=server-check.service
[Install]
WantedBy=timers.target

启用并确认在跑:

Terminal window
systemctl daemon-reload
systemctl enable --now server-check.timer
systemctl list-timers server-check.timer # 看下一次触发时间
journalctl -u server-check.service -n 50 # 看历次执行日志

用 timer 而不是 cron 的好处是执行记录、失败状态都在 journal 里,systemctl status 一眼能看到上次跑没跑、挂没挂——这一点第九节还会用到。

七、证书到期:最高频的”突然打不开”#

在所有”网站突然打不开”的事故里,证书过期稳居前列,而且它有个最气人的特点:过期之前毫无征兆,过期瞬间全站瘫痪。Let’s Encrypt 的证书只有 90 天,自动续期一旦因为 DNS、端口、配置变动失败一次,没人盯着就会直接过期给你看。

手动查任意域名证书到期日的命令记住这一条就够:

Terminal window
echo | openssl s_client -servername example.com -connect example.com:443 2>/dev/null \
| openssl x509 -noout -dates -issuer

输出类似:

notBefore=Oct 18 03:00:00 2026 GMT
notAfter=Jan 16 03:00:00 2027 GMT
issuer=C = US, O = Let's Encrypt, CN = R12

几个细节:-servername 是 SNI,一个 IP 上挂多个证书时不写它查到的可能是默认证书,结果会误导你;echo | 是为了让 openssl s_client 读完证书立刻退出,不要省。只想要剩余天数的话,把上一节脚本里那段换算单独拎出来用也行。

防御上做两件事就够:续期走自动化(certbot 的 timer 或反代自带续期),监控里给证书留 14 天和 7 天两档提醒——14 天那档是给”自动续期失败了”留的人工处理窗口,7 天那档就是最后通牒。

八、告警降噪:别让告警疲劳毁掉通道#

告警系统最常见的死法不是漏报,是误报太多把人逼到关通知。所以降噪不是锦上添花,是保命设置。四条原则:

  1. 阈值分级。预警和严重分开:预警进消息通道看一眼就行,严重才升级到更吵的通道。上一节脚本里磁盘 80/90 两档、消息里带 [预警] / [严重] 前缀,就是这个意思。
  2. 连续失败再报。端口探测、HTTP 探测这类受网络抖动影响的检查,要求连续 2~3 次失败才发告警。抖一下就恢复的那种,报出来纯属消耗信任。
  3. 同一问题只报一次,恢复再报一次。脚本里的状态文件就是干这个的:把本轮问题清单算个哈希,和上轮一样就说明问题没变化、已经报过了,闭嘴;问题集合变了(新增、消失)才再发。服务恢复时发一条”已恢复”,让人知道可以安心了,而不是一直惦记。
  4. 定期复盘误报。每条让你白紧张一次的告警,都要回去调阈值或加条件。误报不是忍一忍的事,它在透支整个通道的信誉。

九、排障#

告警没发出来#

按链路从后往前查:

  1. 脚本到底跑没跑:systemctl list-timers 看 timer 在不在,journalctl -u server-check.service 看执行记录;timer 没启用、脚本没执行权限,是最常见的两种。
  2. 脚本跑了但判断没触发:手动执行一次脚本,把阈值临时调低人为触发(第六节的方法),区分是”没问题”还是”判断逻辑坏了”。
  3. 判断触发了但消息没到:单独拿 curl 把通知请求发一遍看返回,Token 失效、会话 ID 写错、服务器出不了外网,都在这一步现形。

还有一层元问题:监控本身也要被监控。巡检脚本所在的机器整机宕机时,它一条告警也发不出来——所以存活探测(Ping、端口)一定要由另一台机器从外部来做,比如 Uptime Kuma 放在第二台机器上探第一台,两台互相探,谁死了都有人喊。

指标看着正常,但服务已经死了#

这是新手最容易栽的坑:面板上 CPU、内存、磁盘全绿,用户却说打不开。原因是指标和存活是两个维度——进程僵死、端口假死、应用层卡死时,资源指标完全可以一切正常。对策就是第二节清单里把两者分开盯:资源指标归资源指标,服务存活必须用”进程状态 + 端口探测 + HTTP 状态码”单独验证,缺一不可。反过来也一样:端口通、返回 200,也不代表磁盘三天后不会写满。两个维度都齐了,监控才算完整。

探针面板全红但网站能打开#

先别慌着救网站——大概率是探针 agent 掉线、面板机器网络问题,或者 agent 版本升级后不兼容。用浏览器直接访问网站、再 SSH 登录看一眼服务状态,确认是”监控坏了”而不是”服务坏了”,然后修监控。把这两类故障分清,能省掉很多半夜的无效折腾。

小结#

  • 监控的目的是发现异常、提前预警、事后追溯,核心在告警,不在面板;
  • 必盯八项:负载、内存与 Swap、磁盘水位、inode、服务存活、端口可达、证书到期、登录异常,阈值宁可保守留足处理时间;
  • 先用命令行巡检建立”正常长什么样”的基线,再谈任何工具;
  • 方案按规模选:脚本 + Uptime Kuma 起步,多机上探针面板,深挖指标才上 Prometheus 体系,且监控别和被监控对象同机;
  • 告警通道要分级、能叫醒人,降噪四原则(分级、连续失败再报、状态去重、复盘误报)决定这套系统能活多久;
  • 证书是最高频的隐形雷,openssl s_client 查到期、14 天预警必须有;
  • 最后记住:监控本身也要被监控,存活探测永远从外部、从另一台机器发起。
服务器监控与告警实战
https://www.anexns.cloudns.org/posts/linux-server-monitoring/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0