2496 字
12 分钟
监控与可观测性:node_exporter 主机指标全解

先列个清单:Prometheus 装完,你还缺什么#

上一篇把 Prometheus 跑起来之后,打开它的查询界面,你会发现一件事:能查的只有它自己的运行指标,宿主机本身的 CPU、内存、磁盘、网络一概没有。这不是装错了,而是分工本来就这样:

  • Prometheus 负责抓取、存储和查询,自己不采集主机数据
  • 主机指标由 node_exporter 负责暴露,它就是一个常驻小进程,把内核与硬件状态翻译成 Prometheus 能读的文本格式
  • 每台被监控的机器装一个 node_exporter,Prometheus 定期来拉

项目地址:https://github.com/prometheus/node_exporter

所以本篇的主线很明确:把 node_exporter 部署到每一台服务器上,讲清它的 collector 机制和自定义指标玩法,最后把最常看的那批主机指标逐个解读一遍。下一篇写 PromQL 查询语言 时,所有例子都会用到这里出现的指标名,先混个脸熟。

它是怎么工作的#

node_exporter 启动后监听 9100 端口,访问 http://<主机>:9100/metrics 就能看到当前全部指标,格式就是一行一个的文本:

# HELP node_memory_MemAvailable_bytes Memory information field MemAvailable_bytes.
# TYPE node_memory_MemAvailable_bytes gauge
node_memory_MemAvailable_bytes 6.214e+09

它的数据来源是 Linux 内核暴露的 /proc、/sys 和根文件系统信息。负责采集每一类数据的模块叫 collector:cpu、meminfo、filesystem、diskstats、netdev、loadavg 等等一批默认开启,各自读取对应的内核文件。理解了这一点,后面容器部署为什么要挂载宿主机目录、为什么有些指标在容器里读不准,就都顺理成章了。

Docker 部署:挂载是关键#

官方镜像是 prom/node-exporter。compose 写法如下,注意 volumes 与 command 两处配合,缺一不可:

services:
node-exporter:
image: prom/node-exporter:latest
container_name: node-exporter
restart: unless-stopped
network_mode: host
pid: host
volumes:
- /proc:/host/proc:ro
- /sys:/host/sys:ro
- /:/host/rootfs:ro
command:
- "--path.procfs=/host/proc"
- "--path.sysfs=/host/sys"
- "--path.rootfs=/host/rootfs"
- "--collector.filesystem.mount-points-exclude=^/(sys|proc|dev|host|etc)($$|/)"

几个要点逐条说清:

  • 三个挂载全部只读(:ro)。node_exporter 只读不写,给只读权限就够了,这也是它在安全上相对省心的原因之一。
  • --path.procfs 等参数告诉它去容器内的 /host/* 路径读数据;不加这三个参数,它读的就是容器自己的 /proc,采到的全是容器视角的假数据。
  • network_mode: host 让它直接用宿主机网络,9100 端口不用再做映射;官方文档也推荐这种方式,或者至少共享宿主机 PID 命名空间(pid: host),否则像进程、网络连接类 collector 的视角会受限。
  • 最后一条 mount-points-exclude 把容器自身的系统挂载点从 filesystem collector 里排除,避免和宿主机真实分区重复、混杂。$$ 是 compose 里对 $ 的转义,别写丢。

不用 Docker 也可以:GitHub Release 页有编译好的二进制,解压后直接 ./node_exporter 就能跑,systemd 托管一下即可,参数与上面完全一致。

启动后先自检:

Terminal window
curl -s http://localhost:9100/metrics | head -20

能刷出一大片 node_ 开头的指标就说明采集正常。然后在 Prometheus 的 prometheus.yml 里给每台机器加一个 target(Prometheus 的部署与配置 里讲过 scrape_configs 的写法):

scrape_configs:
- job_name: "node"
static_configs:
- targets: ["192.168.1.11:9100", "192.168.1.12:9100"]
WARNING

node_exporter 的 9100 端口和 Prometheus 一样没有任何鉴权,谁能访问谁就能把你机器的硬件与系统信息看个底掉。多机部署时让它只走内网网段;确实需要跨网段访问的,用防火墙只放行 Prometheus 服务器的 IP,或者套一层带 Basic Auth 的反向代理。绝对不要把 /metrics 直接暴露到公网——网上长期有扫描器专门收集裸奔的 exporter。

collector:按需开关采集模块#

collector 是 node_exporter 的核心概念。用开关参数可以逐个控制:

Terminal window
# 关掉某个默认开启的 collector
--no-collector.netdev
# 开启一个默认关闭的 collector
--collector.systemd

常用的几个值得单独认识:

collector默认说明
cpu / meminfo / loadavg开CPU 时间、内存、负载,最基础的一批
filesystem / diskstats开分区容量、inode、磁盘读写
netdev / netstat开网卡流量与网络统计
systemd关各 systemd 单元的状态,做服务存活监控时很有用
textfile开读取指定目录下的 .prom 文件,把里面的指标一并暴露
processes关进程数量与状态统计,容器部署时视角受限

在 Docker 部署里加开关,就是往上面的 command 列表里追加对应行。关掉用不上的 collector 能略微降低采集开销,不过更现实的意义是减少指标基数,让 Prometheus 的存储和查询都轻一点。

还有一个补救位置在 Prometheus 那一侧:某个 collector 暂时关不掉、或者同一 exporter 要喂给多个用途时,可以在 scrape 配置里用 metric_relabel_configs 在入库前丢弃不需要的指标序列。比如只关心真实磁盘、想在源头就扔掉回环网卡流量时,按 device="lo" 做 drop 即可。原则是能在 exporter 端关的优先关,关不掉的再在抓取端过滤,双管齐下把基数压住。

textfile collector:把脚本结果变成指标#

这是 node_exporter 最实用的扩展点。它会读取一个目录(默认 /var/lib/node_exporter/textfile_collector,可用 --collector.textfile.directory 改)下所有 .prom 文件,把内容合并进 /metrics 输出。于是任何脚本能算出来的东西,都能变成 Prometheus 指标:证书剩余天数、备份是否成功、某个目录的大小……

以「上次备份距今多久」为例,备份脚本跑完后顺手写一个文件:

#!/bin/bash
DIR=/var/lib/node_exporter/textfile_collector
echo "backup_last_success_timestamp_seconds $(date +%s)" > "$DIR/backup.prom.$$"
mv "$DIR/backup.prom.$$" "$DIR/backup.prom"

两个细节:先写临时文件再 mv 覆盖,是为了避免 node_exporter 读到写了一半的内容;文件名必须以 .prom 结尾。之后在 Grafana 里对这个时间戳做个告警,超过 26 小时没更新就报警,备份任务静默失败的问题就兜住了——这类「业务巡检指标化」的思路,和 Linux 服务器监控 里用脚本巡检的做法是一脉相承的,只是现在结果进了时序库,能画图、能告警、能回溯。

关键指标解读#

指标成百上千,日常真正盯的就这么一批。先记住一个分类:名字带 _total 的是 counter(只增不减的累计值,看速率要用 rate() 加工);其余多为 gauge(瞬时值,直接看数)。

指标含义看什么异常
node_cpu_seconds_totalCPU 累计时间,按 mode 标签拆分(user/system/idle/iowait…)idle 占比持续过低说明 CPU 吃紧;iowait 高是磁盘在拖后腿
node_memory_MemAvailable_bytes内核估算的可用内存(含可回收缓存)持续走低逼近 0 是内存耗尽前兆;别用 MemFree 判断,它不含缓存会误报
node_filesystem_avail_bytes分区可用空间,带 mountpoint、fstype 标签可用比例低于 10% 就该处理;注意排除 overlay、tmpfs 等伪文件系统
node_filesystem_files_free剩余 inode 数空间还有但 inode 耗尽同样写不进文件,小文件多的机器重点看
node_disk_read_bytes_total / node_disk_written_bytes_total磁盘累计读/写字节数,按 device 拆分rate 长期顶格说明 IO 饱和;异常写入暴增要查是谁在写
node_network_receive_bytes_total / node_network_transmit_bytes_total网卡累计收/发字节数,按 device 拆分流量突增突降都是信号;记得排除 lo 回环
node_load1 / node_load5 / node_load151/5/15 分钟平均负载持续超过 CPU 核数说明任务在排队;结合 CPU 使用率判断是算力还是 IO 问题
node_boot_time_seconds开机时刻的 Unix 时间戳用 time() - node_boot_time_seconds 算运行时长;时间戳突然变新=机器重启过

其中最容易记错的是内存:判断内存够不够,只看 MemAvailable,不要看 MemFree。Linux 会拿空闲内存做缓存,MemFree 很小是常态,MemAvailable 才是「应用真要用时能拿到多少」的估算值。

CPU 使用率则是典型的 counter 加工题:node_cpu_seconds_total 本身是个累计秒数,两个时间点的差除以时间间隔才是占比,再按 mode 聚合,就能拆出 user、system、iowait 各占多少——这正是下一篇 PromQL 要动手练的第一类查询。

排障小节#

容器里采到的指标和宿主机对不上。 十有八九是挂载或路径参数漏了:检查 /proc、/sys、根目录三个挂载是否都在、是否只读,--path.procfs 等三个参数是否与挂载点对应。少任何一个,它就退回读容器自身的数据。

磁盘、分区指标出现一堆重复设备。 容器运行时会带来 overlay、shm 等挂载点,和真实分区混在一起。用前面 compose 里的 mount-points-exclude 排除系统路径,查询时再用 fstype 标签过滤掉 overlay、tmpfs;磁盘设备同理,device 标签里只保留 sd*、nvme*、vd* 这类真实盘。

Prometheus 里 target 显示 DOWN。 先在 Prometheus 所在机器上直接 curl http://<目标>:9100/metrics,通不通立刻见分晓:不通是网络或防火墙问题(9100 没放行最常见),通了再回头查 prometheus.yml 里 target 地址写错没有。

某些 collector 指标缺失。 先确认部署方式:systemd collector 在容器里基本采不到宿主机的单元状态,这类需求建议二进制+systemd 方式部署;其次查启动参数有没有被 --no-collector 误关,或者版本太旧还没有该 collector。

textfile 指标不出现。 依次查:文件是不是 .prom 后缀、目录与 --collector.textfile.directory 是否一致、文件格式是否合法(一行一个指标、数值可解析)、写入时是否用了临时文件+改名的原子写法。

小结#

node_exporter 在整个监控体系里站的是「数据源」这一环:部署的关键只有一句——让它读到宿主机的 /proc、/sys 与根文件系统,其余都是围绕这件事的细节。collector 决定采什么,textfile collector 让任意脚本结果也能入列,而真正要花心思的是最后那张指标表:先把 CPU、MemAvailable、分区与 inode、磁盘与网络速率、负载这几样看熟,后面无论是写 PromQL 还是在 Grafana 里做仪表盘,用的都是它们。

监控与可观测性:node_exporter 主机指标全解
https://www.anexns.cloudns.org/posts/monitoring-node-exporter/
作者
Anexns
发布于
2026-11-16
许可协议
CC BY-NC-SA 4.0