半夜出事,你先开了六个标签页
凌晨三点,手机响了,某台机器的告警。你的第一反应不是处理问题,而是先想:这是哪台机器来着?然后打开它的面板看一眼 CPU,发现不是资源问题,再打开第二台、第三台……六台 VPS,六套各看各的监控,六个标签页来回切。等你把现场拼凑完整,二十分钟过去了,故障本身可能五分钟就能修好。
这就是单机监控堆到多机之后的典型状态:每台机器单独看都没毛病,合在一起就是一团乱。缺的不是更多的图表,而是一套统一的系统——一个地方看全部机器,一个出口发全部告警,一套标签查全部数据。
本篇是监控与可观测性系列的完结篇。前面十四篇把零件逐个讲透了:概念与指标体系、Prometheus 抓取、各类 exporter、VictoriaMetrics 存储、Alertmanager 告警、Grafana 看板、日志与拨测。这一篇不再讲单个组件,只做拼装:把六台机器收进一块面板,顺带把全系列收个尾。概念还没打底的,建议先看监控与可观测性:先把概念理清再回来。
先选架构:三条路线,只有一条适合六台机器
多机汇聚无非三种打法,先把账算清楚再动手。
路线一:中心 Prometheus 主动拉取
中心放一台 Prometheus,各机跑 node_exporter 等 exporter 暴露 /metrics,中心按抓取配置逐台拉。优点是模型最简单:抓没抓到、目标在不在线,中心一清二楚,up 指标天然可用。缺点也直接:中心必须能连通每一台机器的 exporter 端口。跨公网时通道要自己搭——把各机组进 WireGuard 或 Tailscale 内网,或者给 exporter 套一层反向代理加 Basic Auth 和 IP 白名单。机器都在同一内网、或者你愿意维护一张虚拟内网时,这条路线最省心。
路线二:各机推送,中心只收(remote_write)
各机本地跑 vmagent(或 Prometheus 开启 remote_write),抓完本机数据后主动推到中心的 VictoriaMetrics 或 Prometheus。通道方向反过来了:各机只需要出站,不用在每台机器上开任何入站端口。机器躲在 NAT 后面、防火墙策略严、或者分布在不同机房时,这条路线几乎是唯一顺手的。代价是中心不再天然知道「谁没推数据」,要靠 up 类指标和数据断流告警自己补上——后面排障一节会讲怎么交叉验证。
路线三:联邦 federation——这个规模别碰
联邦是让上级 Prometheus 定时拉取下级 Prometheus 的汇总数据,为的是跨地域、成百上千台机器的分级汇聚。六台机器上联邦,等于给每一台都养一个完整 Prometheus 再叠一层抓取,配置翻倍、排障翻倍,收益为零。记住一句话:联邦是千台规模的解法,六台机器用它纯属给自己找活。真到了需要分级汇聚的那天再学不迟。
| 路线 | 通道要求 | 小机器友好度 | 运维复杂度 | 适合场景 |
|---|---|---|---|---|
| 中心拉取 | 中心能入站连通每台 exporter | 中(每台只需 exporter) | 低 | 同内网或已有虚拟内网 |
| remote_write 推送 | 各机只需出站 | 高(vmagent 内存占用小) | 中 | 跨机房、NAT 后、防火墙严 |
| 联邦 federation | 双向都要通 | 低(每台一个完整 Prometheus) | 高 | 千台级分级汇聚 |
结论先放这儿:六台机器的规模,首选 remote_write 推送——各机只出站、中心只接收,通道和防火墙都最省事。下文就按这条路线展开;选拉取路线的同学把抓取配置写好即可,其余的标签、保留、收口部分完全通用。
remote_write 最小配置
各机装 vmagent(VictoriaMetrics 的单机组件包里自带),本地抓取本机 exporter 后往中心推。一份能用的启动参数长这样:
# 各机 vmagent 关键启动参数./vmagent-prod \ -prometheusDataPath=/var/lib/vmagent \ -remoteWrite.url=https://monitor.example.com:8428/api/v1/write \ -remoteWrite.basicAuth.username=vmagent \ -remoteWrite.basicAuth.password='自行设置的强密码'配套的抓取配置(prometheus.yml,vmagent 兼容 Prometheus 语法):
global: scrape_interval: 30s external_labels: env: prod
scrape_configs: - job_name: node static_configs: - targets: ['127.0.0.1:9100'] labels: instance: rn-01两个要点:第一,external_labels 里的 env 和每条抓取的 instance 在这里一次定死,全网照抄同一套规范(下一节细说);第二,中心端 VictoriaMetrics 前面要套 HTTPS 和 Basic Auth,接收端同样可以用 -httpAuth 或反向代理加认证,别裸奔。中心为什么选 VictoriaMetrics 而不是原生 Prometheus,监控与可观测性:VictoriaMetrics 单机版部署里算过资源账:同样的保留期,它的磁盘和内存开销明显更低,中心机不用单独加大配置。
WARNING多机监控最大的风险点不是数据丢了,而是把 exporter 端口直接暴露在公网上。
/metrics里有主机名、内核版本、文件系统、进程与网络连接的全套细节,等于把内网资产清单免费送人,历史上还出过未授权访问顺藤摸瓜的事件。无论走拉取还是推送:exporter 只监听回环或内网地址,跨公网必须走加密通道(WireGuard、Tailscale 或 HTTPS),通道上还要有认证(Basic Auth、mTLS 或 IP 白名单至少占一样)。加密和认证一样都没有的跨公网抓取,不要上线。
标签纪律:全网一套命名,定死不许改
多机系统里最先崩的往往不是程序,而是标签。今天这台写 instance: 192.0.2.10:9100,明天那台写 instance: rn-01,后天有人临时加了个 test: 'true' 忘了删——看板变量查出来五台机器,告警规则匹配漏一台,复盘时三份数据对不上号。规矩只有三条:
job表示角色:node、docker、nginx、postgres,全网同一角色同一个词,不用复数不用缩写花活。instance用机器名,不用 IP:rn-01、gc-02这种稳定名字。IP 会变、端口会变,机器名是这台机器的身份证;看板和告警里出现机器名也比 IP 亲切得多,出事时一眼知道是谁。env只有prod和test两个值,在抓取端或 vmagent 的external_labels里统一打,不允许业务侧自己加。临时标签一律禁止:要临时排查,用日志和命令行,别往时序数据里塞——标签基数一旦膨胀,存储和查询一起遭殃,而且塞进去容易删起来难。
这套命名写进 Git 里的配置模板,新机器上线照着模板改个机器名就行,不给自由发挥留空间。
保留期分层:本地短留,中心长留
数据留多久,按「离事故现场的距离」分层:
- 各机本地只留 3–7 天:vmagent 的本地缓冲和短期存储够了,它的核心任务是抓取和转发,顺带扛住中心短暂不可用时的断点续传。本地盘本来就小,别让监控数据和业务抢空间。
- 中心留 6–12 个月:趋势对比、容量规划、季度复盘都靠它。VictoriaMetrics 对老数据可以做降采样(downsampling),比如 90 天后只保留 5 分钟粒度,磁盘立刻省一个量级。
- 原始高频数据不追求永久:30 秒粒度留一年已经足够回答「去年这时候这台机器忙不忙」,真要多年留存,留降采样后的就好。
容量上先有个粗略概念:六台机器、每台一个 node_exporter 加两三个业务 exporter、30 秒抓一次,中心一天的新增数据通常在几百 MB 量级,VictoriaMetrics 压缩之后更小。一块 20 GB 的数据盘留一年绰绰有余——多机监控在存储上从来不是负担,负担只来自标签基数失控和保留期漫无边际,这也是前面把标签纪律单列一节的原因。
收口:一个 Grafana,一个 Alertmanager
看板和告警必须收口,这是多机系统和单机堆叠的分水岭。
看板只进一个 Grafana:中心 Grafana 只连中心一个数据源(VictoriaMetrics 兼容 Prometheus 数据源)。所有看板按「全舰队总览 → 单机下钻」的结构组织,总览页一排六台机器的水位,下钻页用 instance 变量切换。机器增减只动变量,不用改图。
告警只从中心出:各机本地不要各发各的告警——六个出口六套静默策略,半夜能把人逼疯。所有告警规则在中心统一评估,统一进一个 Alertmanager 做分组、抑制和静默,再分发到 Telegram、邮件或 Webhook。Alertmanager 的路由与静默玩法在监控与可观测性:Alertmanager 告警全解里讲透了,这里只强调纪律:任何新告警先问一句「它进中心规则库了吗」,没进的告警不算数。
配置全部进 Git:抓取配置、告警规则、Alertmanager 路由、Grafana 的 provisioning(数据源与看板即代码)都进仓库。改配置走提交记录,谁在什么时候为什么改了一目了然;新机器上线就是套模板加一行;机器重装时配置十分钟恢复。监控系统自己不能成为唯一没有备份和版本史的东西。
和轻量探针分工:三层各管一段
上了 Prometheus 体系,要不要把 Komari、Uptime Kuma 撤了?不用,它们和深度监控不是替代关系,是分工关系:
| 层 | 工具 | 回答的问题 | 视角 |
|---|---|---|---|
| 值班层 | Komari | 还活着吗、水位大概多少 | 机器内部,秒级心跳 |
| 拨测层 | Uptime Kuma / Gatus | 用户能不能打开、证书还剩几天 | 机器外部,真实访问路径 |
| 深挖层 | Prometheus + VictoriaMetrics + Grafana | 为什么慢、趋势如何、出过几次 | 全量指标,事后复盘 |
值班层要的是轻和稳:Komari 探针装在每台机器上,面板一眼看全舰队生死与资源水位,它挂了不影响任何业务。拨测层从外侧打进来,Uptime Kuma测的是用户真实路径——机器活着但域名解析错了、证书过期了,只有这一层能发现。深挖层负责回答「为什么」:某台机器上周二凌晨内存为什么冲高、磁盘按这个增速还能撑几周。排障时三层交叉着看,比任何单层都快——下一节就用得上。
上线检查清单:每台机器逐项打勾
新机器接入统一监控,照这张单子验收,全过才算上线:
- exporter 已安装并在跑,且只监听回环或内网地址,公网扫不到端口
- 中心能查到这台机器的数据,
up(或 vmagent 的推送状态)正常 -
job、instance、env三个标签与全网规范一致,instance是机器名不是 IP - 在总览看板里能通过变量选到这台机器,曲线完整不断裂
- 手动触发一次测试告警(比如把阈值临时调低),确认能经中心 Alertmanager 送达手机
- 时间同步正常,
chronyc tracking或timedatectl显示已同步 - 本地保留期与磁盘上限已设置,监控数据不会撑爆系统盘
- 这台机器的抓取配置已提交进 Git
排障:数据断流时,先分清是哪一层的事
某台机数据断了:机器挂了,还是通道断了?
这是多机监控最高频的问题,处理顺序别反。先看值班层:Komari 上这台机器还在线吗?在线,说明机器没死,大概率是通道或中心端的问题——查 vmagent 日志看 remote_write 是否报错、中心 VictoriaMetrics 是否在重启或磁盘满。再看拨测层:Uptime Kuma 的外部探测还通吗?两层都说活着、只有深挖层没数据,问题就锁定在「抓取—推送」这一段里。若 Komari 也掉线,才按机器故障处理。不要一看到曲线断了就去重启机器,先交叉验证,很多时候机器好好的,只是推送通道断了,重启反而把现场清了。
曲线错位:先查时钟
两台机器的曲线对不齐、告警时间比日志慢了几分钟,十有八九是某台机器时钟漂了。时序数据的时间戳以抓取与写入侧为准,机器本地时钟不准则日志、告警、曲线三者互相打架。逐台跑 timedatectl 确认 NTP 已同步,老机器优先检查 chrony 服务是否在跑。这一条也是检查清单里单列时间同步的原因。
看板变量漏机器:标签不统一的现行犯
总览页变量里只有五台、独缺新上的那台,别去改看板——先去查那台机器的标签。变量一般用 label_values(up, instance) 生成,漏机器只可能是:这台的 instance 写成了 IP、拼错了名字,或者 job 不在变量限定的集合里。看板漏机器,九成是标签没按规范写,回抓取配置里对照模板改掉,改完这类问题不会再犯第二次。
小结:全系列到此收束
从第一篇的概念,到采集、存储、告警、看板、日志、拨测,再到这一篇的多机落地,这个系列想讲的其实只有一件事:监控不是装个面板看曲线,而是一套「出事能发现、发现能定位、定位能复盘」的系统。落到六台机器上,它的形状就是这篇的样子——各机轻量采集、中心统一存储、一块面板看全舰队、一个出口发全部告警、一套标签走天下。
不必一次到位。先把六台机器的数据汇到一个中心、标签统一、告警收口,这三件做完,半夜再出事,你只需要打开一个标签页。