5690 字
28 分钟
容器监控体系:cAdvisor 加 Prometheus 加 Grafana
2026-11-15

容器少的时候,docker stats 看一眼就够了。但当一台机器上跑了十几个容器、还指望它们 7×24 稳定运行时,靠肉眼巡检迟早出事:凌晨三点某个容器内存缓慢泄漏,一点点吃满宿主机,等你早上发现的时候服务已经挂了几个小时,而你连它是从什么时候开始涨的都不知道。这篇讲怎么给 Docker 搭一套正经的监控体系——cAdvisor 负责采集每个容器的指标,Prometheus 负责存储和查询,Grafana 负责画图和告警,一套 Compose 全部搞定。

为什么 docker stats 不够用#

docker stats 显示的是此刻的快照,它有三个硬伤:

缺失能力具体问题
没有历史关掉终端数据就没了,查不了「昨晚 8 点内存为什么飙高」
没有曲线只有一个数字,看不出趋势:内存是在缓慢泄漏还是瞬间打满,处理方式完全不同
没有告警异常必须正好被你撞见才算数,没人能 24 小时盯着屏幕

在命令速查篇(《Docker 常用命令速查与排障实战》)里我们说过,docker stats 是排障的起手式之一,它适合「已经出事了,我来看看现在什么情况」,不适合「在出事之前拦住它」。正经监控要的恰恰是后者:指标持续采集、历史可查、异常主动喊人。这就是这套三件套存在的意义。

三件套分工与数据流向#

组件角色干什么
cAdvisor采集员Google 开源的容器监控工具,盯着每个容器的 CPU、内存、网络、磁盘 IO,把指标暴露成一个 HTTP 接口
Prometheus仓库 + 大脑定时去 cAdvisor 那里把指标「抓」回来存进自己的时序数据库,并提供 PromQL 查询语言和告警规则引擎
Grafana展示 + 喊人把 Prometheus 里的数据画成曲线图、仪表盘,超阈值时通过告警通知你

数据流向是单向的:

容器 → cAdvisor(采集,:8080/metrics)→ Prometheus(定时抓取存储)→ Grafana(查询出图/告警)

注意 Prometheus 的工作方式是拉取(pull):不是 cAdvisor 主动上报,而是 Prometheus 每隔一段时间去访问 cAdvisor 的 /metrics 接口把数据拿走。这个细节后面排障时会用到——抓不到数据先看 Prometheus 的 Targets 状态。

完整 Compose 部署#

一套 Compose 把三件套全拉起来。先看全貌,后面逐个拆解:

services:
cadvisor:
image: gcr.io/cadvisor/cadvisor:latest
container_name: cadvisor
restart: unless-stopped
volumes:
- /:/rootfs:ro
- /var/run:/var/run:ro
- /sys:/sys:ro
- /var/lib/docker/:/var/lib/docker:ro
ports:
- "127.0.0.1:8080:8080"
prometheus:
image: prom/prometheus:latest
container_name: prometheus
restart: unless-stopped
volumes:
- ./prometheus.yml:/etc/prometheus/prometheus.yml
- ./rules.yml:/etc/prometheus/rules.yml
- prometheus_data:/prometheus
command:
- --config.file=/etc/prometheus/prometheus.yml
- --storage.tsdb.path=/prometheus
- --storage.tsdb.retention.time=15d
ports:
- "127.0.0.1:9090:9090"
depends_on:
- cadvisor
grafana:
image: grafana/grafana:latest
container_name: grafana
restart: unless-stopped
environment:
- GF_SECURITY_ADMIN_USER=admin
- GF_SECURITY_ADMIN_PASSWORD=换成你自己的强密码
volumes:
- grafana_data:/var/lib/grafana
ports:
- "127.0.0.1:3000:3000"
depends_on:
- prometheus
volumes:
prometheus_data:
grafana_data:

cAdvisor 的四个关键挂载#

cAdvisor 要统计每个容器的资源占用,就必须能看到宿主机的 cgroup 和 Docker 的数据目录,所以它挂了四个路径,缺一不可:

挂载作用
/:/rootfs:ro把宿主机根目录只读挂进来,让 cAdvisor 能遍历整个文件系统视角下的进程与 cgroup 信息
/var/run:/var/run:ro里面有 Docker 的 socket 等运行时文件,cAdvisor 靠它和 Docker 守护进程通信、识别容器
/sys:/sys:rocgroup 的数据就挂在 /sys/fs/cgroup 下,CPU、内存的实际计数器从这里读
/var/lib/docker/:/var/lib/docker:roDocker 的数据根目录,镜像层、容器元数据都在这,cAdvisor 用它把 cgroup 和具体容器对应起来

全部是 :ro 只读挂载——它只负责读数据统计,不需要写权限,能只读就只读,这是挂载宿主机路径时的基本原则。

WARNING

在部分系统上 cAdvisor 还需要 privileged: true 或者额外挂载 /dev/kmsg 才能拿到完整的机器级指标。如果部署后发现容器指标正常、但宿主机级别的指标缺失,可以在 cadvisor 服务下补一行 privileged: true 再重建。但特权模式等于放弃容器隔离,只在确认缺指标时再开,不要无脑加上。

Prometheus 的挂载与参数#

  • ./prometheus.yml 是主配置文件(下一节逐段讲),./rules.yml 是告警规则文件;
  • prometheus_data 命名卷挂到 /prometheus,这是它时序数据库的家,容器重建数据不能丢,全靠这个卷;
  • --storage.tsdb.retention.time=15d 是数据保留期,只留最近 15 天,超期自动删——不设的话默认也是 15 天,但写明了心里有数,后面还会细说;
  • 端口 9090 是 Prometheus 自带的 Web 界面,能直接写 PromQL 查询、看 Targets 状态。

Grafana 的密码与数据卷#

  • 管理员账号密码通过 GF_SECURITY_ADMIN_USER / GF_SECURITY_ADMIN_PASSWORD 环境变量设置,绝不要用默认的 admin/admin 上线,首次启动前就把密码换掉;
  • grafana_data 卷存它的仪表盘、数据源配置和用户数据,不挂卷的话容器一重建,你配好的图全没了。

端口为什么只绑 127.0.0.1#

三个端口全部写成 127.0.0.1:端口:端口 的形式,意思是只允许从服务器本机访问。原因很实在:cAdvisor 的界面能看到你所有容器的名字和资源占用,Prometheus 界面能执行任意查询,Grafana 虽然有登录但也不该直接暴露在公网上。监控面板裸奔公网等于把服务器的内脏摊开给人看。日常访问用 SSH 隧道转发,或者用前面 Nginx/Caddy 篇讲的反向代理套一层 HTTPS 再加认证,对外只开反代那一个入口。

prometheus.yml 配置逐段讲解#

部署前先把 prometheus.yml 写好,它决定 Prometheus 去抓谁、多久抓一次:

global:
scrape_interval: 15s
evaluation_interval: 15s
rule_files:
- "rules.yml"
scrape_configs:
- job_name: "prometheus"
static_configs:
- targets: ["localhost:9090"]
- job_name: "cadvisor"
static_configs:
- targets: ["cadvisor:8080"]
- job_name: "node"
static_configs:
- targets: ["node-exporter:9100"]

逐段拆开看:

  • global.scrape_interval: 15s:默认抓取间隔 15 秒。容器监控 15 秒足够细了,调到 5 秒只会让数据库膨胀三倍,收益不大。
  • evaluation_interval: 15s:告警规则的评估间隔,Prometheus 每 15 秒检查一次规则文件里的条件有没有被触发。
  • rule_files:加载告警规则文件,就是 Compose 里挂进去的那个 rules.yml,路径相对于配置文件所在目录写文件名即可。
  • scrape_configs 是抓取目标清单,每个 job_name 是一组:
    • prometheus 抓自己,用来监控监控系统本身的健康;
    • cadvisor 是主角,目标 cadvisor:8080——注意这里用的是 Compose 服务名,因为 Prometheus 和 cAdvisor 在同一个 Compose 网络里,靠服务名就能互相找到,这正是自定义网络内置 DNS 的用法;
    • node 是可选项:如果你还想监控宿主机本身的 CPU、内存、磁盘、网络(而不只是容器),再额外跑一个 prom/node-exporter 容器(端口 9100),把这段加上;只关心容器的话可以整段删掉,不影响主线。

cAdvisor 自带界面与核心指标速览#

cAdvisor 本身带一个 Web 界面(本机访问 http://127.0.0.1:8080),能按容器点进去看实时曲线,临时瞄一眼够用;但它的数据只留在内存里,重启就没,所以正经的历史和告警还是靠 Prometheus。

写 PromQL 之前,先认识几个最核心的指标名。cAdvisor 的指标都以 container_ 开头,用标签区分容器,最常用的是 name(容器名)和 image(镜像名):

指标名含义
container_cpu_usage_seconds_total容器累计消耗的 CPU 时间(秒),是个只增不减的计数器,要配合 rate() 算使用率
container_memory_usage_bytes容器当前内存占用(字节),包含缓存,是最直观的那个数
container_memory_working_set_bytes容器的工作集内存(不含可回收缓存),判断「真的吃紧了」看这个更准,告警一般用它
container_spec_memory_limit_bytes容器的内存上限(没设限制时等于宿主机总内存),算内存百分比时当分母
container_network_receive_bytes_total容器累计收到的网络流量(字节),计数器
container_network_transmit_bytes_total容器累计发出的网络流量(字节),计数器
container_start_time_seconds容器启动时间点的时间戳,它一变就说明容器重启过

记住一条规律:名字带 _total 的基本都是累计计数器,直接看数值没意义,必须用 rate() 或 increase() 换算成速率/增量;不带 _total 的是瞬时值,可以直接看、可以直接告警。

PromQL 入门五例#

PromQL 是 Prometheus 的查询语言,Grafana 出图、告警规则背后全是它。下面五条是容器监控里最高频的,逐条拆解。

例 1:某容器的 CPU 使用率#

rate(container_cpu_usage_seconds_total{name="nginx"}[5m]) * 100

拆解:container_cpu_usage_seconds_total 是累计 CPU 秒数;{name="nginx"} 用标签只选名为 nginx 的容器;rate(...[5m]) 取最近 5 分钟窗口,算出平均每秒增长多少——也就是平均用了几个核;乘 100 换成百分比口径(100% = 用满 1 个核,400% = 用满 4 个核)。

例 2:内存占用排行#

topk(5, container_memory_usage_bytes{name!=""})

拆解:{name!=""} 过滤掉没有容器名的序列(cAdvisor 会给宿主机本身和 cgroup 层级也生成指标,名字为空,不滤掉排行榜会被它们污染);topk(5, ...) 取数值最大的 5 条。想看哪个容器最吃内存,这条直接出答案。单位是字节,在 Grafana 里把单位设成 bytes 会自动换算成 MiB/GiB 显示。

例 3:某容器的网络接收速率#

rate(container_network_receive_bytes_total{name="nginx"}[5m])

拆解:和例 1 同理,对累计接收字节数求 5 分钟平均速率,得到的是字节/秒。发送方向把指标换成 container_network_transmit_bytes_total 即可。注意有些容器有多个网卡(eth0、veth 等),会按 interface 标签分开出多条序列,需要汇总时外面再套一层 sum by (name) (...)。

例 4:最近一小时某容器流出了多少流量#

increase(container_network_transmit_bytes_total{name="nginx"}[1h])

拆解:increase() 和 rate() 是亲兄弟,区别是它不除以时间、直接给窗口内的总增量。算速率用 rate(),算「这一小时一共跑了多少流量」用 increase()。

例 5:某容器最近 24 小时重启了几次#

changes(container_start_time_seconds{name="nginx"}[24h])

拆解:container_start_time_seconds 记录容器启动时刻,容器每次重启这个值就会跳一次;changes() 统计窗口内这个值变化了几次,正好就是重启次数。某个容器半夜反复重启,用这条一查便知,比翻日志快得多。

附:标签过滤的四种匹配符#

上面五例反复用到 {name="nginx"} 这种大括号写法,它叫标签匹配,是 PromQL 的基本功,一共四种:

匹配符含义典型用法
=完全相等{name="nginx"} 只看这一个容器
!=不相等{name!=""} 排除无名序列,五例里反复出现
=~正则匹配{name=~"api|web"} 一次看两个容器
!~正则排除{name!~"test.*"} 把测试容器全部排除

多个条件写在同一对大括号里用逗号隔开,是「并且」的关系,比如 {name="nginx", interface="eth0"} 表示只要 nginx 的 eth0 网卡那一条。刚上手时最容易写错的是把 =~ 的正则忘了加引号、或者在 | 两侧加空格,记住整段正则要完整包在引号里就行。另外提醒一句:查询返回的序列太多时 Grafana 画图会糊成一团,先用标签把范围收窄到你要看的那几个容器,再套函数计算,这个顺序别反了。

WARNING

所有 rate() / increase() 的时间窗口建议至少是抓取间隔的 4 倍。咱们抓取间隔 15 秒,窗口就别小于 1 分钟,例子里统一用 [5m] 是稳妥的默认值;窗口太小算出来的曲线会锯齿乱跳,甚至直接没数据。

Grafana 接入:数据源与现成仪表盘#

三件套跑起来后,打开 Grafana(本机 http://127.0.0.1:3000),用 Compose 里设的管理员账号登录,然后做两件事。

第一步:添加 Prometheus 数据源#

左侧菜单进 Connections → Data sources → Add data source,选 Prometheus,URL 填:

http://prometheus:9090

同样是走 Compose 服务名互访——Grafana 容器和 Prometheus 容器在同一网络里。填完点 Save & test,看到绿色的成功提示就说明通了。

第二步:导入现成仪表盘#

容器监控的仪表盘没必要自己从零画,Grafana 官方仪表盘库里有大量现成的 cAdvisor 仪表盘,导入步骤:

  1. 打开 Grafana 官网的仪表盘库页面(grafana.com 的 Dashboards 区),搜索关键词 cadvisor;
  2. 挑一个下载量高、近期有维护的,点进去把它的 JSON 文件下载下来(页面上也有一个仪表盘编号 ID 可复制,二选一即可);
  3. 回到自己的 Grafana,左侧进 Dashboards → New → Import,上传 JSON 文件(或粘贴 ID 让它在线拉取);
  4. 导入时数据源选第一步建好的 Prometheus,确认导入。

导入后你会得到一套按容器筛选的 CPU、内存、网络、磁盘曲线面板,顶部一般有容器下拉框,切换容器名就能看单个容器的全貌。先用现成的跑起来,哪些图没用删掉、缺什么再自己加面板,这是最省时间的路线。

WARNING

导入在线拉取 ID 的方式要求 Grafana 所在服务器能访问外网;如果拉取失败,就改走「下载 JSON 再上传」这条路,效果完全一样。网上教程里写的仪表盘 ID 很多已经过时或被作者删除,照抄别人的 ID 导入失败是常事,以官网库当前能搜到的为准。

告警:容器内存超 90% 持续 5 分钟#

监控的终点是告警。这里给一条完整可抄的规则:任意容器的工作集内存超过其上限的 90%,且持续 5 分钟,就触发告警。

把下面内容写进 Compose 里挂载的 rules.yml:

groups:
- name: container-alerts
rules:
- alert: ContainerHighMemory
expr: |
container_memory_working_set_bytes{name!=""}
/ container_spec_memory_limit_bytes{name!=""} > 0.9
for: 5m
labels:
severity: warning
annotations:
summary: "容器 {{ $labels.name }} 内存使用率过高"
description: "容器 {{ $labels.name }} 的工作集内存已超过上限的 90%,当前值 {{ $value | humanizePercentage }},请及时处理。"

逐段说明:

  • expr 是触发条件:工作集内存除以上限大于 0.9。分子分母都带 {name!=""} 把无名序列滤掉;
  • for: 5m 是关键——条件必须连续成立满 5 分钟才真正触发,短暂的毛刺不会半夜把你吵醒;
  • {{ $labels.name }} 会被替换成具体的容器名,告警消息里一眼能看出是谁出事;
  • 规则文件改完后重启 Prometheus 容器生效(docker compose restart prometheus),在 Prometheus 界面的 Status → Rules 里能看到这条规则是否加载成功。

触发之后通知发到哪,有两条路线,二选一即可,别重复配:

路线做法适合
Prometheus + Alertmanager再部署一个 Alertmanager 容器,在 prometheus.yml 里加 alerting 段指向它,由它负责把告警发到邮件/Webhook 等渠道告警条数多、想要分组去重静默等专业能力
Grafana 告警直接在 Grafana 的 Alerting 里基于同一条 PromQL 建告警规则并绑通知渠道就几台机器、规则不多,想少养一个组件

小规模场景我更推荐 Grafana 告警这一条,少一个容器少一份维护;等规则多到需要分组、静默、值班轮换时,再上 Alertmanager 也不迟。

资源占用与数据留存:小机器先算账#

这套监控本身也是要吃资源的,先把账算清楚再决定上不上:

组件大致资源占用说明
cAdvisor约 50–150MB 内存和容器数量正相关,容器越多它越忙
Prometheus约 200MB–1GB 内存主要花在数据留存上:15 秒抓一次、几十个容器、留 15 天,磁盘占用通常在几个 GB 量级
Grafana约 100–200MB 内存很省,主要是画图时有点 CPU

留存策略的核心就是部署时那个参数:--storage.tsdb.retention.time=15d。想省磁盘就改成 7d,想留一个月排查慢性问题就改成 30d,按磁盘大小和排查习惯权衡。改完重启 Prometheus 生效。另外可以顺手用 docker stats 观察几天这三个容器自己的占用,心里有个数——监控把宿主机挤垮就本末倒置了。

WARNING

1 核 1GB 级别的小机器不要硬上这套三件套,光 Prometheus 和 Grafana 就能吃掉小半内存。这种机器用下面说的轻量探针就够了,需要看曲线时临时在本地电脑上连过去查也行。

定位区别:和 Uptime Kuma、Komari 怎么分工#

这套三件套不是万能的,它和常见的两个轻量工具是分工关系,不是替代关系:

工具回答的问题粒度资源成本
Uptime Kuma服务活没活(HTTP/端口通不通)分钟级探活极低
Komari 等探针面板机器大概怎么样(在线状态、负载、流量概览)秒级概览低
cAdvisor + Prometheus + Grafana容器为什么出问题(哪项资源、从何时起、涨得多快)秒级指标 + 历史曲线 + 规则告警中高

一句话概括:Kuma 管「死没死」,探针管「多台机器一眼扫过去谁不对劲」,这套三件套管「定位到具体容器、具体资源、具体时间点」。轻量工具负责发现异常,三件套负责查清原因,已经在用 Kuma 或探针的完全不用拆,把这套补在需要深挖的主力机上即可,别每台机器都重复建设。

实战:用这套监控定位一次内存缓慢上涨#

把工具用起来才算数,这里走一遍最典型的场景:某台机器隔几天就要手动重启一次容器,重启完好几天,然后又慢慢变卡,始终不知道是谁干的。

第一步,先在 Grafana 的内存面板把时间范围拉到最近 7 天。docker stats 永远看不到的画面出现了:十几个容器里,大部分是平的,只有一条线在以非常均匀的斜率一路向上爬,中间每次陡降都是你手动重启它的时刻——这就是典型的内存泄漏曲线,缓慢、持续、不回头。

第二步,确认涨势和速率。把那个容器的名字代入内存排行和速率查询,看它每天大概涨多少。PromQL 里没有直接的「内存变化速率」常用指标,但可以借 deriv() 或者干脆用一段时间窗口的首尾差来估算,比如用 container_memory_working_set_bytes{name="xxx"} - (container_memory_working_set_bytes{name="xxx"} offset 24h) 算出它 24 小时涨了多少字节。能算出每天涨 200MB、机器总共 4GB 内存,什么时候会被吃满就一目了然了。

第三步,找规律。把时间轴缩到 1 小时粒度,看上涨是匀速的还是台阶式的:如果每次某个定时任务跑完就跳一截,问题多半出在那批任务处理的代码路径上;如果是匀速上涨,则更像连接、缓存、会话这类只进不出的结构在堆积。再把 CPU 和网络曲线叠在一起看时间点是否对得上,证据链就完整了。

第四步,处理和验证。定位到容器只是开始:该升级镜像的升级、该给容器加内存上限的加上限(限制写法的细节见安全与资源限制篇),处理完之后继续盯着同一条曲线看两三天,斜率消失了才算真修好。这正是历史曲线最大的价值——它不只帮你找到问题,还能帮你确认问题真的没了,而不是自我安慰。

顺带说一个使用习惯:Grafana 里建议固定留三个视图——全机总览(一屏看所有容器的 CPU 和内存,扫一眼就知道谁不对劲)、单容器详情(出事时点进去深挖)、宿主机视图(配了 node-exporter 才有,看磁盘和整机负载)。视图不在多,顺手最重要,平时打开总览扫十秒,没事就关掉,有异常再往深里点。

排障#

Prometheus 的 Targets 显示 DOWN#

打开 Prometheus 界面(http://127.0.0.1:9090/targets),每个抓取目标都有状态。cAdvisor 显示 DOWN 时按顺序查:

  1. 看 DOWN 旁边写的错误信息,connection refused 是对方没起来或端口不对,context deadline exceeded 是超时、对方卡了;
  2. 确认 cAdvisor 容器本身在跑:docker compose ps 看状态,挂了就 docker logs cadvisor 看它为什么退出(最常见是四个卷挂载路径在宿主机上不存在或权限不对);
  3. 确认两个容器在同一 Compose 网络、目标写的是服务名 cadvisor 而不是 localhost——在 Prometheus 容器里,localhost 指的是它自己,这是新手最常踩的坑。

Grafana 里查不到数据#

  1. 先回 Prometheus 界面自己写一条最简单的查询,比如 container_memory_usage_bytes,能查到说明数据没问题,锅在 Grafana 侧;
  2. 查不到则说明抓取环节断了,回到上一条看 Targets;
  3. Prometheus 有数据、Grafana 没数据,重点查数据源 URL 是否写对(应该是 http://prometheus:9090)、Save & test 是否通过;
  4. 数据源没问题但面板空白,多半是导入的仪表盘用的指标名或标签和你这版 cAdvisor 对不上,在面板的查询编辑器里把 PromQL 复制到 Prometheus 界面验证一遍,改成能查出结果的写法。

cAdvisor 指标为空或缺失#

  1. 进 cAdvisor 自带界面点任意容器,如果界面里也没数据,是采集本身没工作,优先查四个卷是否都正确挂载(docker inspect cadvisor 看 Mounts),尤其是 /sys 和 /var/lib/docker/;
  2. 只有宿主机级指标缺、容器指标正常,按前文说明补 privileged: true 后重建再看;
  3. 指标有但 Prometheus 里搜不到,检查抓取间隔内 cAdvisor 是否重启过(计数器归零会让 rate() 短暂异常),等两个抓取周期再看;
  4. 内存指标看着比 docker stats 大一截,通常不是错——container_memory_usage_bytes 含文件缓存,看「真实压力」改用 container_memory_working_set_bytes,两个指标的口径区别在前面的速览表里写了。

小结#

  • docker stats 只能看当下,历史、曲线、告警这三样必须靠正经监控补齐;
  • 分工记牢:cAdvisor 采集、Prometheus 存储与查询、Grafana 出图与告警,数据是被 Prometheus 定时拉走的;
  • 部署的命门就三处:cAdvisor 的四个只读挂载、Prometheus 和 Grafana 的数据卷、三个端口只绑 127.0.0.1;
  • PromQL 先掌握 rate()、increase()、changes() 和五个示例,出事时能自己查才是这套东西的真正价值;
  • 告警规则记得加 for: 5m 这类持续时间,过滤毛刺;通知渠道 Prometheus 路线和 Grafana 路线二选一;
  • 上之前先算资源账,小机器用轻量探针,主力机再上三件套,和 Uptime Kuma、Komari 分工配合,不重复建设。
容器监控体系:cAdvisor 加 Prometheus 加 Grafana
https://www.anexns.cloudns.org/posts/docker-monitoring-prometheus/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0