先列个清单:Prometheus 装完,你还缺什么
上一篇把 Prometheus 跑起来之后,打开它的查询界面,你会发现一件事:能查的只有它自己的运行指标,宿主机本身的 CPU、内存、磁盘、网络一概没有。这不是装错了,而是分工本来就这样:
- Prometheus 负责抓取、存储和查询,自己不采集主机数据
- 主机指标由 node_exporter 负责暴露,它就是一个常驻小进程,把内核与硬件状态翻译成 Prometheus 能读的文本格式
- 每台被监控的机器装一个 node_exporter,Prometheus 定期来拉
项目地址:https://github.com/prometheus/node_exporter
所以本篇的主线很明确:把 node_exporter 部署到每一台服务器上,讲清它的 collector 机制和自定义指标玩法,最后把最常看的那批主机指标逐个解读一遍。下一篇写 PromQL 查询语言 时,所有例子都会用到这里出现的指标名,先混个脸熟。
它是怎么工作的
node_exporter 启动后监听 9100 端口,访问 http://<主机>:9100/metrics 就能看到当前全部指标,格式就是一行一个的文本:
# HELP node_memory_MemAvailable_bytes Memory information field MemAvailable_bytes.# TYPE node_memory_MemAvailable_bytes gaugenode_memory_MemAvailable_bytes 6.214e+09它的数据来源是 Linux 内核暴露的 /proc、/sys 和根文件系统信息。负责采集每一类数据的模块叫 collector:cpu、meminfo、filesystem、diskstats、netdev、loadavg 等等一批默认开启,各自读取对应的内核文件。理解了这一点,后面容器部署为什么要挂载宿主机目录、为什么有些指标在容器里读不准,就都顺理成章了。
Docker 部署:挂载是关键
官方镜像是 prom/node-exporter。compose 写法如下,注意 volumes 与 command 两处配合,缺一不可:
services: node-exporter: image: prom/node-exporter:latest container_name: node-exporter restart: unless-stopped network_mode: host pid: host volumes: - /proc:/host/proc:ro - /sys:/host/sys:ro - /:/host/rootfs:ro command: - "--path.procfs=/host/proc" - "--path.sysfs=/host/sys" - "--path.rootfs=/host/rootfs" - "--collector.filesystem.mount-points-exclude=^/(sys|proc|dev|host|etc)($$|/)"几个要点逐条说清:
- 三个挂载全部只读(
:ro)。node_exporter 只读不写,给只读权限就够了,这也是它在安全上相对省心的原因之一。 --path.procfs等参数告诉它去容器内的/host/*路径读数据;不加这三个参数,它读的就是容器自己的/proc,采到的全是容器视角的假数据。network_mode: host让它直接用宿主机网络,9100 端口不用再做映射;官方文档也推荐这种方式,或者至少共享宿主机 PID 命名空间(pid: host),否则像进程、网络连接类 collector 的视角会受限。- 最后一条
mount-points-exclude把容器自身的系统挂载点从 filesystem collector 里排除,避免和宿主机真实分区重复、混杂。$$是 compose 里对$的转义,别写丢。
不用 Docker 也可以:GitHub Release 页有编译好的二进制,解压后直接 ./node_exporter 就能跑,systemd 托管一下即可,参数与上面完全一致。
启动后先自检:
curl -s http://localhost:9100/metrics | head -20能刷出一大片 node_ 开头的指标就说明采集正常。然后在 Prometheus 的 prometheus.yml 里给每台机器加一个 target(Prometheus 的部署与配置 里讲过 scrape_configs 的写法):
scrape_configs: - job_name: "node" static_configs: - targets: ["192.168.1.11:9100", "192.168.1.12:9100"]WARNINGnode_exporter 的 9100 端口和 Prometheus 一样没有任何鉴权,谁能访问谁就能把你机器的硬件与系统信息看个底掉。多机部署时让它只走内网网段;确实需要跨网段访问的,用防火墙只放行 Prometheus 服务器的 IP,或者套一层带 Basic Auth 的反向代理。绝对不要把 /metrics 直接暴露到公网——网上长期有扫描器专门收集裸奔的 exporter。
collector:按需开关采集模块
collector 是 node_exporter 的核心概念。用开关参数可以逐个控制:
# 关掉某个默认开启的 collector--no-collector.netdev
# 开启一个默认关闭的 collector--collector.systemd常用的几个值得单独认识:
| collector | 默认 | 说明 |
|---|---|---|
| cpu / meminfo / loadavg | 开 | CPU 时间、内存、负载,最基础的一批 |
| filesystem / diskstats | 开 | 分区容量、inode、磁盘读写 |
| netdev / netstat | 开 | 网卡流量与网络统计 |
| systemd | 关 | 各 systemd 单元的状态,做服务存活监控时很有用 |
| textfile | 开 | 读取指定目录下的 .prom 文件,把里面的指标一并暴露 |
| processes | 关 | 进程数量与状态统计,容器部署时视角受限 |
在 Docker 部署里加开关,就是往上面的 command 列表里追加对应行。关掉用不上的 collector 能略微降低采集开销,不过更现实的意义是减少指标基数,让 Prometheus 的存储和查询都轻一点。
还有一个补救位置在 Prometheus 那一侧:某个 collector 暂时关不掉、或者同一 exporter 要喂给多个用途时,可以在 scrape 配置里用 metric_relabel_configs 在入库前丢弃不需要的指标序列。比如只关心真实磁盘、想在源头就扔掉回环网卡流量时,按 device="lo" 做 drop 即可。原则是能在 exporter 端关的优先关,关不掉的再在抓取端过滤,双管齐下把基数压住。
textfile collector:把脚本结果变成指标
这是 node_exporter 最实用的扩展点。它会读取一个目录(默认 /var/lib/node_exporter/textfile_collector,可用 --collector.textfile.directory 改)下所有 .prom 文件,把内容合并进 /metrics 输出。于是任何脚本能算出来的东西,都能变成 Prometheus 指标:证书剩余天数、备份是否成功、某个目录的大小……
以「上次备份距今多久」为例,备份脚本跑完后顺手写一个文件:
#!/bin/bashDIR=/var/lib/node_exporter/textfile_collectorecho "backup_last_success_timestamp_seconds $(date +%s)" > "$DIR/backup.prom.$$"mv "$DIR/backup.prom.$$" "$DIR/backup.prom"两个细节:先写临时文件再 mv 覆盖,是为了避免 node_exporter 读到写了一半的内容;文件名必须以 .prom 结尾。之后在 Grafana 里对这个时间戳做个告警,超过 26 小时没更新就报警,备份任务静默失败的问题就兜住了——这类「业务巡检指标化」的思路,和 Linux 服务器监控 里用脚本巡检的做法是一脉相承的,只是现在结果进了时序库,能画图、能告警、能回溯。
关键指标解读
指标成百上千,日常真正盯的就这么一批。先记住一个分类:名字带 _total 的是 counter(只增不减的累计值,看速率要用 rate() 加工);其余多为 gauge(瞬时值,直接看数)。
| 指标 | 含义 | 看什么异常 |
|---|---|---|
node_cpu_seconds_total | CPU 累计时间,按 mode 标签拆分(user/system/idle/iowait…) | idle 占比持续过低说明 CPU 吃紧;iowait 高是磁盘在拖后腿 |
node_memory_MemAvailable_bytes | 内核估算的可用内存(含可回收缓存) | 持续走低逼近 0 是内存耗尽前兆;别用 MemFree 判断,它不含缓存会误报 |
node_filesystem_avail_bytes | 分区可用空间,带 mountpoint、fstype 标签 | 可用比例低于 10% 就该处理;注意排除 overlay、tmpfs 等伪文件系统 |
node_filesystem_files_free | 剩余 inode 数 | 空间还有但 inode 耗尽同样写不进文件,小文件多的机器重点看 |
node_disk_read_bytes_total / node_disk_written_bytes_total | 磁盘累计读/写字节数,按 device 拆分 | rate 长期顶格说明 IO 饱和;异常写入暴增要查是谁在写 |
node_network_receive_bytes_total / node_network_transmit_bytes_total | 网卡累计收/发字节数,按 device 拆分 | 流量突增突降都是信号;记得排除 lo 回环 |
node_load1 / node_load5 / node_load15 | 1/5/15 分钟平均负载 | 持续超过 CPU 核数说明任务在排队;结合 CPU 使用率判断是算力还是 IO 问题 |
node_boot_time_seconds | 开机时刻的 Unix 时间戳 | 用 time() - node_boot_time_seconds 算运行时长;时间戳突然变新=机器重启过 |
其中最容易记错的是内存:判断内存够不够,只看 MemAvailable,不要看 MemFree。Linux 会拿空闲内存做缓存,MemFree 很小是常态,MemAvailable 才是「应用真要用时能拿到多少」的估算值。
CPU 使用率则是典型的 counter 加工题:node_cpu_seconds_total 本身是个累计秒数,两个时间点的差除以时间间隔才是占比,再按 mode 聚合,就能拆出 user、system、iowait 各占多少——这正是下一篇 PromQL 要动手练的第一类查询。
排障小节
容器里采到的指标和宿主机对不上。 十有八九是挂载或路径参数漏了:检查 /proc、/sys、根目录三个挂载是否都在、是否只读,--path.procfs 等三个参数是否与挂载点对应。少任何一个,它就退回读容器自身的数据。
磁盘、分区指标出现一堆重复设备。 容器运行时会带来 overlay、shm 等挂载点,和真实分区混在一起。用前面 compose 里的 mount-points-exclude 排除系统路径,查询时再用 fstype 标签过滤掉 overlay、tmpfs;磁盘设备同理,device 标签里只保留 sd*、nvme*、vd* 这类真实盘。
Prometheus 里 target 显示 DOWN。 先在 Prometheus 所在机器上直接 curl http://<目标>:9100/metrics,通不通立刻见分晓:不通是网络或防火墙问题(9100 没放行最常见),通了再回头查 prometheus.yml 里 target 地址写错没有。
某些 collector 指标缺失。 先确认部署方式:systemd collector 在容器里基本采不到宿主机的单元状态,这类需求建议二进制+systemd 方式部署;其次查启动参数有没有被 --no-collector 误关,或者版本太旧还没有该 collector。
textfile 指标不出现。 依次查:文件是不是 .prom 后缀、目录与 --collector.textfile.directory 是否一致、文件格式是否合法(一行一个指标、数值可解析)、写入时是否用了临时文件+改名的原子写法。
小结
node_exporter 在整个监控体系里站的是「数据源」这一环:部署的关键只有一句——让它读到宿主机的 /proc、/sys 与根文件系统,其余都是围绕这件事的细节。collector 决定采什么,textfile collector 让任意脚本结果也能入列,而真正要花心思的是最后那张指标表:先把 CPU、MemAvailable、分区与 inode、磁盘与网络速率、负载这几样看熟,后面无论是写 PromQL 还是在 Grafana 里做仪表盘,用的都是它们。