3534 字
18 分钟
监控与可观测性:六台 VPS 收进一块面板——多机统一监控落地实战

半夜出事,你先开了六个标签页#

凌晨三点,手机响了,某台机器的告警。你的第一反应不是处理问题,而是先想:这是哪台机器来着?然后打开它的面板看一眼 CPU,发现不是资源问题,再打开第二台、第三台……六台 VPS,六套各看各的监控,六个标签页来回切。等你把现场拼凑完整,二十分钟过去了,故障本身可能五分钟就能修好。

这就是单机监控堆到多机之后的典型状态:每台机器单独看都没毛病,合在一起就是一团乱。缺的不是更多的图表,而是一套统一的系统——一个地方看全部机器,一个出口发全部告警,一套标签查全部数据。

本篇是监控与可观测性系列的完结篇。前面十四篇把零件逐个讲透了:概念与指标体系、Prometheus 抓取、各类 exporter、VictoriaMetrics 存储、Alertmanager 告警、Grafana 看板、日志与拨测。这一篇不再讲单个组件,只做拼装:把六台机器收进一块面板,顺带把全系列收个尾。概念还没打底的,建议先看监控与可观测性:先把概念理清再回来。

先选架构:三条路线,只有一条适合六台机器#

多机汇聚无非三种打法,先把账算清楚再动手。

路线一:中心 Prometheus 主动拉取#

中心放一台 Prometheus,各机跑 node_exporter 等 exporter 暴露 /metrics,中心按抓取配置逐台拉。优点是模型最简单:抓没抓到、目标在不在线,中心一清二楚,up 指标天然可用。缺点也直接:中心必须能连通每一台机器的 exporter 端口。跨公网时通道要自己搭——把各机组进 WireGuard 或 Tailscale 内网,或者给 exporter 套一层反向代理加 Basic Auth 和 IP 白名单。机器都在同一内网、或者你愿意维护一张虚拟内网时,这条路线最省心。

路线二:各机推送,中心只收(remote_write)#

各机本地跑 vmagent(或 Prometheus 开启 remote_write),抓完本机数据后主动推到中心的 VictoriaMetrics 或 Prometheus。通道方向反过来了:各机只需要出站,不用在每台机器上开任何入站端口。机器躲在 NAT 后面、防火墙策略严、或者分布在不同机房时,这条路线几乎是唯一顺手的。代价是中心不再天然知道「谁没推数据」,要靠 up 类指标和数据断流告警自己补上——后面排障一节会讲怎么交叉验证。

路线三:联邦 federation——这个规模别碰#

联邦是让上级 Prometheus 定时拉取下级 Prometheus 的汇总数据,为的是跨地域、成百上千台机器的分级汇聚。六台机器上联邦,等于给每一台都养一个完整 Prometheus 再叠一层抓取,配置翻倍、排障翻倍,收益为零。记住一句话:联邦是千台规模的解法,六台机器用它纯属给自己找活。真到了需要分级汇聚的那天再学不迟。

路线通道要求小机器友好度运维复杂度适合场景
中心拉取中心能入站连通每台 exporter中(每台只需 exporter)低同内网或已有虚拟内网
remote_write 推送各机只需出站高(vmagent 内存占用小)中跨机房、NAT 后、防火墙严
联邦 federation双向都要通低(每台一个完整 Prometheus)高千台级分级汇聚

结论先放这儿:六台机器的规模,首选 remote_write 推送——各机只出站、中心只接收,通道和防火墙都最省事。下文就按这条路线展开;选拉取路线的同学把抓取配置写好即可,其余的标签、保留、收口部分完全通用。

remote_write 最小配置#

各机装 vmagent(VictoriaMetrics 的单机组件包里自带),本地抓取本机 exporter 后往中心推。一份能用的启动参数长这样:

Terminal window
# 各机 vmagent 关键启动参数
./vmagent-prod \
-prometheusDataPath=/var/lib/vmagent \
-remoteWrite.url=https://monitor.example.com:8428/api/v1/write \
-remoteWrite.basicAuth.username=vmagent \
-remoteWrite.basicAuth.password='自行设置的强密码'

配套的抓取配置(prometheus.yml,vmagent 兼容 Prometheus 语法):

global:
scrape_interval: 30s
external_labels:
env: prod
scrape_configs:
- job_name: node
static_configs:
- targets: ['127.0.0.1:9100']
labels:
instance: rn-01

两个要点:第一,external_labels 里的 env 和每条抓取的 instance 在这里一次定死,全网照抄同一套规范(下一节细说);第二,中心端 VictoriaMetrics 前面要套 HTTPS 和 Basic Auth,接收端同样可以用 -httpAuth 或反向代理加认证,别裸奔。中心为什么选 VictoriaMetrics 而不是原生 Prometheus,监控与可观测性:VictoriaMetrics 单机版部署里算过资源账:同样的保留期,它的磁盘和内存开销明显更低,中心机不用单独加大配置。

WARNING

多机监控最大的风险点不是数据丢了,而是把 exporter 端口直接暴露在公网上。/metrics 里有主机名、内核版本、文件系统、进程与网络连接的全套细节,等于把内网资产清单免费送人,历史上还出过未授权访问顺藤摸瓜的事件。无论走拉取还是推送:exporter 只监听回环或内网地址,跨公网必须走加密通道(WireGuard、Tailscale 或 HTTPS),通道上还要有认证(Basic Auth、mTLS 或 IP 白名单至少占一样)。加密和认证一样都没有的跨公网抓取,不要上线。

标签纪律:全网一套命名,定死不许改#

多机系统里最先崩的往往不是程序,而是标签。今天这台写 instance: 192.0.2.10:9100,明天那台写 instance: rn-01,后天有人临时加了个 test: 'true' 忘了删——看板变量查出来五台机器,告警规则匹配漏一台,复盘时三份数据对不上号。规矩只有三条:

  • job 表示角色:node、docker、nginx、postgres,全网同一角色同一个词,不用复数不用缩写花活。
  • instance 用机器名,不用 IP:rn-01、gc-02 这种稳定名字。IP 会变、端口会变,机器名是这台机器的身份证;看板和告警里出现机器名也比 IP 亲切得多,出事时一眼知道是谁。
  • env 只有 prod 和 test 两个值,在抓取端或 vmagent 的 external_labels 里统一打,不允许业务侧自己加。临时标签一律禁止:要临时排查,用日志和命令行,别往时序数据里塞——标签基数一旦膨胀,存储和查询一起遭殃,而且塞进去容易删起来难。

这套命名写进 Git 里的配置模板,新机器上线照着模板改个机器名就行,不给自由发挥留空间。

保留期分层:本地短留,中心长留#

数据留多久,按「离事故现场的距离」分层:

  • 各机本地只留 3–7 天:vmagent 的本地缓冲和短期存储够了,它的核心任务是抓取和转发,顺带扛住中心短暂不可用时的断点续传。本地盘本来就小,别让监控数据和业务抢空间。
  • 中心留 6–12 个月:趋势对比、容量规划、季度复盘都靠它。VictoriaMetrics 对老数据可以做降采样(downsampling),比如 90 天后只保留 5 分钟粒度,磁盘立刻省一个量级。
  • 原始高频数据不追求永久:30 秒粒度留一年已经足够回答「去年这时候这台机器忙不忙」,真要多年留存,留降采样后的就好。

容量上先有个粗略概念:六台机器、每台一个 node_exporter 加两三个业务 exporter、30 秒抓一次,中心一天的新增数据通常在几百 MB 量级,VictoriaMetrics 压缩之后更小。一块 20 GB 的数据盘留一年绰绰有余——多机监控在存储上从来不是负担,负担只来自标签基数失控和保留期漫无边际,这也是前面把标签纪律单列一节的原因。

收口:一个 Grafana,一个 Alertmanager#

看板和告警必须收口,这是多机系统和单机堆叠的分水岭。

看板只进一个 Grafana:中心 Grafana 只连中心一个数据源(VictoriaMetrics 兼容 Prometheus 数据源)。所有看板按「全舰队总览 → 单机下钻」的结构组织,总览页一排六台机器的水位,下钻页用 instance 变量切换。机器增减只动变量,不用改图。

告警只从中心出:各机本地不要各发各的告警——六个出口六套静默策略,半夜能把人逼疯。所有告警规则在中心统一评估,统一进一个 Alertmanager 做分组、抑制和静默,再分发到 Telegram、邮件或 Webhook。Alertmanager 的路由与静默玩法在监控与可观测性:Alertmanager 告警全解里讲透了,这里只强调纪律:任何新告警先问一句「它进中心规则库了吗」,没进的告警不算数。

配置全部进 Git:抓取配置、告警规则、Alertmanager 路由、Grafana 的 provisioning(数据源与看板即代码)都进仓库。改配置走提交记录,谁在什么时候为什么改了一目了然;新机器上线就是套模板加一行;机器重装时配置十分钟恢复。监控系统自己不能成为唯一没有备份和版本史的东西。

和轻量探针分工:三层各管一段#

上了 Prometheus 体系,要不要把 Komari、Uptime Kuma 撤了?不用,它们和深度监控不是替代关系,是分工关系:

层工具回答的问题视角
值班层Komari还活着吗、水位大概多少机器内部,秒级心跳
拨测层Uptime Kuma / Gatus用户能不能打开、证书还剩几天机器外部,真实访问路径
深挖层Prometheus + VictoriaMetrics + Grafana为什么慢、趋势如何、出过几次全量指标,事后复盘

值班层要的是轻和稳:Komari 探针装在每台机器上,面板一眼看全舰队生死与资源水位,它挂了不影响任何业务。拨测层从外侧打进来,Uptime Kuma测的是用户真实路径——机器活着但域名解析错了、证书过期了,只有这一层能发现。深挖层负责回答「为什么」:某台机器上周二凌晨内存为什么冲高、磁盘按这个增速还能撑几周。排障时三层交叉着看,比任何单层都快——下一节就用得上。

上线检查清单:每台机器逐项打勾#

新机器接入统一监控,照这张单子验收,全过才算上线:

  • exporter 已安装并在跑,且只监听回环或内网地址,公网扫不到端口
  • 中心能查到这台机器的数据,up(或 vmagent 的推送状态)正常
  • job、instance、env 三个标签与全网规范一致,instance 是机器名不是 IP
  • 在总览看板里能通过变量选到这台机器,曲线完整不断裂
  • 手动触发一次测试告警(比如把阈值临时调低),确认能经中心 Alertmanager 送达手机
  • 时间同步正常,chronyc tracking 或 timedatectl 显示已同步
  • 本地保留期与磁盘上限已设置,监控数据不会撑爆系统盘
  • 这台机器的抓取配置已提交进 Git

排障:数据断流时,先分清是哪一层的事#

某台机数据断了:机器挂了,还是通道断了?#

这是多机监控最高频的问题,处理顺序别反。先看值班层:Komari 上这台机器还在线吗?在线,说明机器没死,大概率是通道或中心端的问题——查 vmagent 日志看 remote_write 是否报错、中心 VictoriaMetrics 是否在重启或磁盘满。再看拨测层:Uptime Kuma 的外部探测还通吗?两层都说活着、只有深挖层没数据,问题就锁定在「抓取—推送」这一段里。若 Komari 也掉线,才按机器故障处理。不要一看到曲线断了就去重启机器,先交叉验证,很多时候机器好好的,只是推送通道断了,重启反而把现场清了。

曲线错位:先查时钟#

两台机器的曲线对不齐、告警时间比日志慢了几分钟,十有八九是某台机器时钟漂了。时序数据的时间戳以抓取与写入侧为准,机器本地时钟不准则日志、告警、曲线三者互相打架。逐台跑 timedatectl 确认 NTP 已同步,老机器优先检查 chrony 服务是否在跑。这一条也是检查清单里单列时间同步的原因。

看板变量漏机器:标签不统一的现行犯#

总览页变量里只有五台、独缺新上的那台,别去改看板——先去查那台机器的标签。变量一般用 label_values(up, instance) 生成,漏机器只可能是:这台的 instance 写成了 IP、拼错了名字,或者 job 不在变量限定的集合里。看板漏机器,九成是标签没按规范写,回抓取配置里对照模板改掉,改完这类问题不会再犯第二次。

小结:全系列到此收束#

从第一篇的概念,到采集、存储、告警、看板、日志、拨测,再到这一篇的多机落地,这个系列想讲的其实只有一件事:监控不是装个面板看曲线,而是一套「出事能发现、发现能定位、定位能复盘」的系统。落到六台机器上,它的形状就是这篇的样子——各机轻量采集、中心统一存储、一块面板看全舰队、一个出口发全部告警、一套标签走天下。

不必一次到位。先把六台机器的数据汇到一个中心、标签统一、告警收口,这三件做完,半夜再出事,你只需要打开一个标签页。

监控与可观测性:六台 VPS 收进一块面板——多机统一监控落地实战
https://www.anexns.cloudns.org/posts/monitoring-fleet/
作者
Anexns
发布于
2026-11-16
许可协议
CC BY-NC-SA 4.0