2789 字
14 分钟
监控与可观测性:cAdvisor 给每个容器装一块仪表盘

十几个容器跑着,哪个在偷吃内存?#

宿主机内存告警响了,你 SSH 上去敲 docker stats,看到的只是敲下回车那一秒的快照:某个容器占了 1.2 GiB,看起来也不算离谱。可偷吃内存的往往不是「现在占得最多」的那个,而是「一直在慢慢涨」的那个——快照看不出趋势,更看不出凌晨三点发生过什么。

容器级监控缺的不是某一个瞬间的数据,而是一条连续的时间线:每个容器的 CPU、内存、网络、磁盘用量随时间变化的曲线。有了曲线,谁在涨、什么时候开始涨、涨之前发布过什么,一目了然。上一篇 node_exporter 篇解决的是「宿主机整体怎么样」,这一篇补上「每个容器分别怎么样」这一层。

项目地址:https://github.com/google/cadvisor

cAdvisor 是什么#

cAdvisor(Container Advisor)是 Google 开源的容器资源监控工具。它常驻在宿主机上,通过 cgroup 读取每一个容器的资源计数器,持续采集 CPU、内存、网络、文件系统等用量数据,自带一个简易 Web UI(默认 8080 端口),同时在 /metrics 端点以 Prometheus 格式暴露全部指标,供 Prometheus 定期抓取入库。

它和 docker stats 的定位完全不同:

对比项docker statscAdvisor
数据形态当前时刻的一次性快照持续采集的时间序列
历史趋势无,看完即逝入库 Prometheus 后任意回溯
告警能力无配合 PromQL 与 Alertmanager
覆盖范围容器 CPU、内存、网络、IO 概况更细:工作集内存、文件系统用量、每网卡流量等
使用方式临时排障时手动看常驻服务,面板与告警自动跑

简单说,docker stats 是体温计,量一下就完事;cAdvisor 是住院监护仪,曲线一直画着。前者适合临时确认,后者才是监控体系的一部分。

它的工作方式并不复杂:Linux 内核会把每个容器的资源用量记在 cgroup 文件系统里,cAdvisor 要做的就是周期性地把这些计数器读出来、按容器整理好、再以指标格式暴露出去。它还会自动发现新启动的容器、移除已停止的容器,运维侧不需要每加一个容器就改一处配置。除用量之外,它同时暴露每个容器的规格信息,比如 CPU 与内存上限,方便把「实际用了多少」和「最多能用多少」放在一起看,这一点后面写 PromQL 时会用到。

Docker Compose 部署#

cAdvisor 需要读取宿主机的 cgroup、Docker 元数据与容器文件系统,所以部署的关键不在镜像本身,而在一组只读挂载:

services:
cadvisor:
image: gcr.io/cadvisor/cadvisor:latest
container_name: cadvisor
privileged: true
ports:
- "127.0.0.1:8080:8080"
volumes:
- /:/rootfs:ro
- /var/run:/var/run:ro
- /sys:/sys:ro
- /var/lib/docker/:/var/lib/docker:ro
- /dev/disk/:/dev/disk:ro
restart: unless-stopped

逐项解释这些挂载为什么存在、为什么全部只读:

挂载用途为什么只读
/:/rootfs:ro宿主机根文件系统,cAdvisor 要遍历其中的目录结构统计各容器文件系统用量只需要看目录与用量,不需要改任何文件
/var/run:/var/run:roDocker 的 socket(docker.sock)在这里,用来查询容器名、镜像、标签等元数据只通过 socket 问信息,不写宿主机文件
/sys:/sys:rocgroup 挂载点在 /sys/fs/cgroup 下,CPU 与内存的原始计数器都从这里读计数器只读读取,写权限毫无必要
/var/lib/docker/:/var/lib/docker:ro容器可写层与镜像层数据在这里,container_fs_usage_bytes 靠它统计只统计占用大小,不动容器数据
/dev/disk/:/dev/disk:ro部分环境下统计块设备信息需要,可选同上,仅识别设备

权限方面,cAdvisor 要访问宿主机大量受保护的路径与 cgroup 接口,通常直接给 privileged: true,或者用一组等价的 capability 与设备授权替代——前者省事,后者更克制,生产环境可以按需收紧。所有挂载坚持只读是底线:监控工具只需要「看」,任何写权限都是多余的风险面。

启动后打开 http://localhost:8080 能看到自带 UI,可以按容器逐个点进去看实时曲线,先确认数据在正常采集,再往下接 Prometheus。命令行侧也可以快速验证一遍:

Terminal window
docker compose up -d
docker compose ps
# 数一下容器指标有多少条,有输出说明采集正常
curl -s http://localhost:8080/metrics | grep -c "^container_"
# 随便看一条内存指标,确认标签里带容器名
curl -s http://localhost:8080/metrics | grep container_memory_working_set_bytes | head -n 5

第二条命令如果能看到带 name="/某容器名" 标签的输出,说明挂载与权限都对了;如果指标寥寥无几或者压根没有容器名,多半是挂载缺项,直接跳到文末排障部分逐项核对。

WARNING

cAdvisor 的 8080 端口没有任何鉴权,却能看到全部容器的名称、镜像与资源用量,绝不能直接暴露到公网。上面的 compose 把端口绑在 127.0.0.1 上,只供本机访问与抓取;确实要远程看,也应该套一层带认证的反向代理,或者干脆只看 Grafana 面板。

接入 Prometheus#

cAdvisor 的指标端点就是根路径下的 /metrics,Prometheus 侧只需加一个抓取任务:

scrape_configs:
- job_name: cadvisor
static_configs:
- targets: ["cadvisor:8080"]

整套 Prometheus 的部署在 Docker 监控篇里已经搭好,这里加一个 job 即可。如果 Prometheus 和 cAdvisor 不在同一个 Compose 网络里,把 targets 换成宿主机地址加映射端口即可。

抓回来的每条指标都带一组标签,其中最常用的是 name——容器名。按容器筛选、聚合、画图,全靠它。比如只看名为 myapp 的容器,就是 name="myapp";而 name!="" 可以滤掉没有容器名的根 cgroup 汇总行,画 Top 榜时几乎必用。

关键指标#

cAdvisor 暴露的指标很多,日常真正要盯的就下面这些:

指标含义使用要点
container_cpu_usage_seconds_total容器累计消耗的 CPU 时间(秒)计数器型,用 rate() 换算成核数使用率
container_memory_working_set_bytes工作集内存:当前活跃使用、不可回收的内存判断容器真实内存占用看它,比 usage 准
container_memory_usage_bytes内存总用量,包含 page cache数值偏大,做告警容易误报
container_network_receive_bytes_total网卡累计接收字节数按 interface 标签区分网卡,rate() 算速率
container_network_transmit_bytes_total网卡累计发送字节数同上
container_fs_usage_bytes容器文件系统用量盯可写层异常膨胀很好用
container_last_seen容器最近一次被采集到的时间戳判断容器是否还活着、采集是否中断

几个常用 PromQL 示例(语法细节见 PromQL 篇):

# 某容器最近 5 分钟的 CPU 使用率(单位:核)
rate(container_cpu_usage_seconds_total{name="myapp"}[5m])
# 内存工作集占用最高的 5 个容器
topk(5, container_memory_working_set_bytes{name!=""})
# 某容器 eth0 网卡的接收速率
rate(container_network_receive_bytes_total{name="myapp", interface="eth0"}[5m])

回到开头的问题:把第二条查询放进 Grafana 面板,再拉出过去 24 小时的时间范围,那个内存曲线一路向上的容器,就是偷吃内存的元凶——配合它的发布时间点,基本能锁定是哪次发布引入的。

再补两个实战中高频的查询。一个是内存占上限的比例,光看绝对值不够,离上限还有多远才是告警的关键——前提是给容器设了内存上限(limit 为 0 表示没设上限,要先滤掉):

# 各容器内存工作集占自身上限的百分比
container_memory_working_set_bytes{name!=""}
/ container_spec_memory_limit_bytes{name!=""} * 100

另一个是盯磁盘:容器可写层只涨不缩通常是日志或临时文件没人清理,按速率看哪个容器在快速吞磁盘:

# 各容器文件系统用量的增长速率
rate(container_fs_usage_bytes{name!=""}[1h])

先说清代价:开销与指标基数#

cAdvisor 不是免费的午餐。容器数量一多,它自身的 CPU 与内存开销就不能忽略;更麻烦的是指标基数:每个容器乘以每块网卡、每个挂载点、每个 CPU 核,标签组合成倍膨胀,Prometheus 的存储与查询都会被拖累。

应对办法是在 Prometheus 抓取侧做保留策略,把用不上的指标提前 drop 掉:

scrape_configs:
- job_name: cadvisor
static_configs:
- targets: ["cadvisor:8080"]
metric_relabel_configs:
- source_labels: [__name__]
regex: "container_tasks_state|container_memory_failures_total|container_blkio_device_usage_total"
action: drop

原则是:只留你真的会画图、会告警的指标,其余在入口处丢弃,别等入库之后再心疼存储。如果单机指标量实在压不住,可以考虑把抓取间隔放宽到 30 秒,或者换用对高基数更友好的存储方案,比如 VictoriaMetrics 篇里讲的替代路线。

还有一类容易被忽视的基数来源:短命容器。CI 构建、定时任务这类跑完就退的容器,会不断产生新的标签组合,旧序列虽然不再更新,却依然占着索引直到数据过期。这也是前面 container_last_seen 的用处之一——定期看一眼最近还有哪些容器「出现过」,能帮你判断基数膨胀到底是业务真的多,还是被一堆一次性容器撑起来的。

排障#

抓不到指标,或指标里没有容器数据。 先打开 http://localhost:8080/metrics 看有没有 container_ 前缀的输出。如果基本为空,十有八九是挂载问题:/sys 没挂对,cgroup 计数器读不到;/var/lib/docker 没挂,文件系统类指标全无;privileged 没给,关键路径权限不足。排查顺序是先 docker logs cadvisor 看报错,再 docker exec 进容器确认 /rootfs、/sys/fs/cgroup 这些路径真实可读,逐项对着上面的挂载表补齐。

内存数值和 docker stats 对不上。 这是口径问题,不是 bug。docker stats 显示的内存用量接近工作集口径,而 container_memory_usage_bytes 把 page cache 也算了进去,数值天然偏大。page cache 是可回收的,文件读写频繁的容器这一项会涨得很高,但并不代表真的吃紧。拿 usage 指标做内存告警,会被 page cache 反复误报坑得很惨——面板和告警统一改用 container_memory_working_set_bytes,两边就对上了。

指标太多,Prometheus 变慢。 症状是查询超时、磁盘涨得飞快。先去 Prometheus 的 Status 页面看每个 job 的样本量,确认大头是不是 cadvisor。然后回到抓取配置,用上一节的 metric_relabel_configs 把低价值指标 drop 掉;还不够就缩短本地保留时长、把长期数据下沉到远程存储。基数问题只能在入口治理,入库之后再删既慢又不彻底。

小结#

cAdvisor 补齐了容器这一层的可观测性:部署就是一组只读挂载加一个抓取任务,关键是想清楚三件事——内存看 working set 而不是 usage、8080 端口绝不裸奔公网、指标在抓取入口就做好取舍。宿主机看 node_exporter,容器看 cAdvisor,两层曲线合起来,资源问题才算看全。下一篇我们把这些指标接上 Alertmanager,让曲线异常的时候能主动找到你。

监控与可观测性:cAdvisor 给每个容器装一块仪表盘
https://www.anexns.cloudns.org/posts/monitoring-cadvisor/
作者
Anexns
发布于
2026-11-16
许可协议
CC BY-NC-SA 4.0