容器少的时候,docker stats 看一眼就够了。但当一台机器上跑了十几个容器、还指望它们 7×24 稳定运行时,靠肉眼巡检迟早出事:凌晨三点某个容器内存缓慢泄漏,一点点吃满宿主机,等你早上发现的时候服务已经挂了几个小时,而你连它是从什么时候开始涨的都不知道。这篇讲怎么给 Docker 搭一套正经的监控体系——cAdvisor 负责采集每个容器的指标,Prometheus 负责存储和查询,Grafana 负责画图和告警,一套 Compose 全部搞定。
为什么 docker stats 不够用
docker stats 显示的是此刻的快照,它有三个硬伤:
| 缺失能力 | 具体问题 |
|---|---|
| 没有历史 | 关掉终端数据就没了,查不了「昨晚 8 点内存为什么飙高」 |
| 没有曲线 | 只有一个数字,看不出趋势:内存是在缓慢泄漏还是瞬间打满,处理方式完全不同 |
| 没有告警 | 异常必须正好被你撞见才算数,没人能 24 小时盯着屏幕 |
在命令速查篇(《Docker 常用命令速查与排障实战》)里我们说过,docker stats 是排障的起手式之一,它适合「已经出事了,我来看看现在什么情况」,不适合「在出事之前拦住它」。正经监控要的恰恰是后者:指标持续采集、历史可查、异常主动喊人。这就是这套三件套存在的意义。
三件套分工与数据流向
| 组件 | 角色 | 干什么 |
|---|---|---|
| cAdvisor | 采集员 | Google 开源的容器监控工具,盯着每个容器的 CPU、内存、网络、磁盘 IO,把指标暴露成一个 HTTP 接口 |
| Prometheus | 仓库 + 大脑 | 定时去 cAdvisor 那里把指标「抓」回来存进自己的时序数据库,并提供 PromQL 查询语言和告警规则引擎 |
| Grafana | 展示 + 喊人 | 把 Prometheus 里的数据画成曲线图、仪表盘,超阈值时通过告警通知你 |
数据流向是单向的:
容器 → cAdvisor(采集,:8080/metrics)→ Prometheus(定时抓取存储)→ Grafana(查询出图/告警)注意 Prometheus 的工作方式是拉取(pull):不是 cAdvisor 主动上报,而是 Prometheus 每隔一段时间去访问 cAdvisor 的 /metrics 接口把数据拿走。这个细节后面排障时会用到——抓不到数据先看 Prometheus 的 Targets 状态。
完整 Compose 部署
一套 Compose 把三件套全拉起来。先看全貌,后面逐个拆解:
services: cadvisor: image: gcr.io/cadvisor/cadvisor:latest container_name: cadvisor restart: unless-stopped volumes: - /:/rootfs:ro - /var/run:/var/run:ro - /sys:/sys:ro - /var/lib/docker/:/var/lib/docker:ro ports: - "127.0.0.1:8080:8080"
prometheus: image: prom/prometheus:latest container_name: prometheus restart: unless-stopped volumes: - ./prometheus.yml:/etc/prometheus/prometheus.yml - ./rules.yml:/etc/prometheus/rules.yml - prometheus_data:/prometheus command: - --config.file=/etc/prometheus/prometheus.yml - --storage.tsdb.path=/prometheus - --storage.tsdb.retention.time=15d ports: - "127.0.0.1:9090:9090" depends_on: - cadvisor
grafana: image: grafana/grafana:latest container_name: grafana restart: unless-stopped environment: - GF_SECURITY_ADMIN_USER=admin - GF_SECURITY_ADMIN_PASSWORD=换成你自己的强密码 volumes: - grafana_data:/var/lib/grafana ports: - "127.0.0.1:3000:3000" depends_on: - prometheus
volumes: prometheus_data: grafana_data:cAdvisor 的四个关键挂载
cAdvisor 要统计每个容器的资源占用,就必须能看到宿主机的 cgroup 和 Docker 的数据目录,所以它挂了四个路径,缺一不可:
| 挂载 | 作用 |
|---|---|
/:/rootfs:ro | 把宿主机根目录只读挂进来,让 cAdvisor 能遍历整个文件系统视角下的进程与 cgroup 信息 |
/var/run:/var/run:ro | 里面有 Docker 的 socket 等运行时文件,cAdvisor 靠它和 Docker 守护进程通信、识别容器 |
/sys:/sys:ro | cgroup 的数据就挂在 /sys/fs/cgroup 下,CPU、内存的实际计数器从这里读 |
/var/lib/docker/:/var/lib/docker:ro | Docker 的数据根目录,镜像层、容器元数据都在这,cAdvisor 用它把 cgroup 和具体容器对应起来 |
全部是 :ro 只读挂载——它只负责读数据统计,不需要写权限,能只读就只读,这是挂载宿主机路径时的基本原则。
WARNING在部分系统上 cAdvisor 还需要
privileged: true或者额外挂载/dev/kmsg才能拿到完整的机器级指标。如果部署后发现容器指标正常、但宿主机级别的指标缺失,可以在 cadvisor 服务下补一行privileged: true再重建。但特权模式等于放弃容器隔离,只在确认缺指标时再开,不要无脑加上。
Prometheus 的挂载与参数
./prometheus.yml是主配置文件(下一节逐段讲),./rules.yml是告警规则文件;prometheus_data命名卷挂到/prometheus,这是它时序数据库的家,容器重建数据不能丢,全靠这个卷;--storage.tsdb.retention.time=15d是数据保留期,只留最近 15 天,超期自动删——不设的话默认也是 15 天,但写明了心里有数,后面还会细说;- 端口 9090 是 Prometheus 自带的 Web 界面,能直接写 PromQL 查询、看 Targets 状态。
Grafana 的密码与数据卷
- 管理员账号密码通过
GF_SECURITY_ADMIN_USER/GF_SECURITY_ADMIN_PASSWORD环境变量设置,绝不要用默认的 admin/admin 上线,首次启动前就把密码换掉; grafana_data卷存它的仪表盘、数据源配置和用户数据,不挂卷的话容器一重建,你配好的图全没了。
端口为什么只绑 127.0.0.1
三个端口全部写成 127.0.0.1:端口:端口 的形式,意思是只允许从服务器本机访问。原因很实在:cAdvisor 的界面能看到你所有容器的名字和资源占用,Prometheus 界面能执行任意查询,Grafana 虽然有登录但也不该直接暴露在公网上。监控面板裸奔公网等于把服务器的内脏摊开给人看。日常访问用 SSH 隧道转发,或者用前面 Nginx/Caddy 篇讲的反向代理套一层 HTTPS 再加认证,对外只开反代那一个入口。
prometheus.yml 配置逐段讲解
部署前先把 prometheus.yml 写好,它决定 Prometheus 去抓谁、多久抓一次:
global: scrape_interval: 15s evaluation_interval: 15s
rule_files: - "rules.yml"
scrape_configs: - job_name: "prometheus" static_configs: - targets: ["localhost:9090"]
- job_name: "cadvisor" static_configs: - targets: ["cadvisor:8080"]
- job_name: "node" static_configs: - targets: ["node-exporter:9100"]逐段拆开看:
global.scrape_interval: 15s:默认抓取间隔 15 秒。容器监控 15 秒足够细了,调到 5 秒只会让数据库膨胀三倍,收益不大。evaluation_interval: 15s:告警规则的评估间隔,Prometheus 每 15 秒检查一次规则文件里的条件有没有被触发。rule_files:加载告警规则文件,就是 Compose 里挂进去的那个rules.yml,路径相对于配置文件所在目录写文件名即可。scrape_configs是抓取目标清单,每个job_name是一组:prometheus抓自己,用来监控监控系统本身的健康;cadvisor是主角,目标cadvisor:8080——注意这里用的是 Compose 服务名,因为 Prometheus 和 cAdvisor 在同一个 Compose 网络里,靠服务名就能互相找到,这正是自定义网络内置 DNS 的用法;node是可选项:如果你还想监控宿主机本身的 CPU、内存、磁盘、网络(而不只是容器),再额外跑一个prom/node-exporter容器(端口 9100),把这段加上;只关心容器的话可以整段删掉,不影响主线。
cAdvisor 自带界面与核心指标速览
cAdvisor 本身带一个 Web 界面(本机访问 http://127.0.0.1:8080),能按容器点进去看实时曲线,临时瞄一眼够用;但它的数据只留在内存里,重启就没,所以正经的历史和告警还是靠 Prometheus。
写 PromQL 之前,先认识几个最核心的指标名。cAdvisor 的指标都以 container_ 开头,用标签区分容器,最常用的是 name(容器名)和 image(镜像名):
| 指标名 | 含义 |
|---|---|
container_cpu_usage_seconds_total | 容器累计消耗的 CPU 时间(秒),是个只增不减的计数器,要配合 rate() 算使用率 |
container_memory_usage_bytes | 容器当前内存占用(字节),包含缓存,是最直观的那个数 |
container_memory_working_set_bytes | 容器的工作集内存(不含可回收缓存),判断「真的吃紧了」看这个更准,告警一般用它 |
container_spec_memory_limit_bytes | 容器的内存上限(没设限制时等于宿主机总内存),算内存百分比时当分母 |
container_network_receive_bytes_total | 容器累计收到的网络流量(字节),计数器 |
container_network_transmit_bytes_total | 容器累计发出的网络流量(字节),计数器 |
container_start_time_seconds | 容器启动时间点的时间戳,它一变就说明容器重启过 |
记住一条规律:名字带 _total 的基本都是累计计数器,直接看数值没意义,必须用 rate() 或 increase() 换算成速率/增量;不带 _total 的是瞬时值,可以直接看、可以直接告警。
PromQL 入门五例
PromQL 是 Prometheus 的查询语言,Grafana 出图、告警规则背后全是它。下面五条是容器监控里最高频的,逐条拆解。
例 1:某容器的 CPU 使用率
rate(container_cpu_usage_seconds_total{name="nginx"}[5m]) * 100拆解:container_cpu_usage_seconds_total 是累计 CPU 秒数;{name="nginx"} 用标签只选名为 nginx 的容器;rate(...[5m]) 取最近 5 分钟窗口,算出平均每秒增长多少——也就是平均用了几个核;乘 100 换成百分比口径(100% = 用满 1 个核,400% = 用满 4 个核)。
例 2:内存占用排行
topk(5, container_memory_usage_bytes{name!=""})拆解:{name!=""} 过滤掉没有容器名的序列(cAdvisor 会给宿主机本身和 cgroup 层级也生成指标,名字为空,不滤掉排行榜会被它们污染);topk(5, ...) 取数值最大的 5 条。想看哪个容器最吃内存,这条直接出答案。单位是字节,在 Grafana 里把单位设成 bytes 会自动换算成 MiB/GiB 显示。
例 3:某容器的网络接收速率
rate(container_network_receive_bytes_total{name="nginx"}[5m])拆解:和例 1 同理,对累计接收字节数求 5 分钟平均速率,得到的是字节/秒。发送方向把指标换成 container_network_transmit_bytes_total 即可。注意有些容器有多个网卡(eth0、veth 等),会按 interface 标签分开出多条序列,需要汇总时外面再套一层 sum by (name) (...)。
例 4:最近一小时某容器流出了多少流量
increase(container_network_transmit_bytes_total{name="nginx"}[1h])拆解:increase() 和 rate() 是亲兄弟,区别是它不除以时间、直接给窗口内的总增量。算速率用 rate(),算「这一小时一共跑了多少流量」用 increase()。
例 5:某容器最近 24 小时重启了几次
changes(container_start_time_seconds{name="nginx"}[24h])拆解:container_start_time_seconds 记录容器启动时刻,容器每次重启这个值就会跳一次;changes() 统计窗口内这个值变化了几次,正好就是重启次数。某个容器半夜反复重启,用这条一查便知,比翻日志快得多。
附:标签过滤的四种匹配符
上面五例反复用到 {name="nginx"} 这种大括号写法,它叫标签匹配,是 PromQL 的基本功,一共四种:
| 匹配符 | 含义 | 典型用法 |
|---|---|---|
= | 完全相等 | {name="nginx"} 只看这一个容器 |
!= | 不相等 | {name!=""} 排除无名序列,五例里反复出现 |
=~ | 正则匹配 | {name=~"api|web"} 一次看两个容器 |
!~ | 正则排除 | {name!~"test.*"} 把测试容器全部排除 |
多个条件写在同一对大括号里用逗号隔开,是「并且」的关系,比如 {name="nginx", interface="eth0"} 表示只要 nginx 的 eth0 网卡那一条。刚上手时最容易写错的是把 =~ 的正则忘了加引号、或者在 | 两侧加空格,记住整段正则要完整包在引号里就行。另外提醒一句:查询返回的序列太多时 Grafana 画图会糊成一团,先用标签把范围收窄到你要看的那几个容器,再套函数计算,这个顺序别反了。
WARNING所有
rate()/increase()的时间窗口建议至少是抓取间隔的 4 倍。咱们抓取间隔 15 秒,窗口就别小于 1 分钟,例子里统一用[5m]是稳妥的默认值;窗口太小算出来的曲线会锯齿乱跳,甚至直接没数据。
Grafana 接入:数据源与现成仪表盘
三件套跑起来后,打开 Grafana(本机 http://127.0.0.1:3000),用 Compose 里设的管理员账号登录,然后做两件事。
第一步:添加 Prometheus 数据源
左侧菜单进 Connections → Data sources → Add data source,选 Prometheus,URL 填:
http://prometheus:9090同样是走 Compose 服务名互访——Grafana 容器和 Prometheus 容器在同一网络里。填完点 Save & test,看到绿色的成功提示就说明通了。
第二步:导入现成仪表盘
容器监控的仪表盘没必要自己从零画,Grafana 官方仪表盘库里有大量现成的 cAdvisor 仪表盘,导入步骤:
- 打开 Grafana 官网的仪表盘库页面(grafana.com 的 Dashboards 区),搜索关键词
cadvisor; - 挑一个下载量高、近期有维护的,点进去把它的 JSON 文件下载下来(页面上也有一个仪表盘编号 ID 可复制,二选一即可);
- 回到自己的 Grafana,左侧进 Dashboards → New → Import,上传 JSON 文件(或粘贴 ID 让它在线拉取);
- 导入时数据源选第一步建好的 Prometheus,确认导入。
导入后你会得到一套按容器筛选的 CPU、内存、网络、磁盘曲线面板,顶部一般有容器下拉框,切换容器名就能看单个容器的全貌。先用现成的跑起来,哪些图没用删掉、缺什么再自己加面板,这是最省时间的路线。
WARNING导入在线拉取 ID 的方式要求 Grafana 所在服务器能访问外网;如果拉取失败,就改走「下载 JSON 再上传」这条路,效果完全一样。网上教程里写的仪表盘 ID 很多已经过时或被作者删除,照抄别人的 ID 导入失败是常事,以官网库当前能搜到的为准。
告警:容器内存超 90% 持续 5 分钟
监控的终点是告警。这里给一条完整可抄的规则:任意容器的工作集内存超过其上限的 90%,且持续 5 分钟,就触发告警。
把下面内容写进 Compose 里挂载的 rules.yml:
groups: - name: container-alerts rules: - alert: ContainerHighMemory expr: | container_memory_working_set_bytes{name!=""} / container_spec_memory_limit_bytes{name!=""} > 0.9 for: 5m labels: severity: warning annotations: summary: "容器 {{ $labels.name }} 内存使用率过高" description: "容器 {{ $labels.name }} 的工作集内存已超过上限的 90%,当前值 {{ $value | humanizePercentage }},请及时处理。"逐段说明:
expr是触发条件:工作集内存除以上限大于 0.9。分子分母都带{name!=""}把无名序列滤掉;for: 5m是关键——条件必须连续成立满 5 分钟才真正触发,短暂的毛刺不会半夜把你吵醒;{{ $labels.name }}会被替换成具体的容器名,告警消息里一眼能看出是谁出事;- 规则文件改完后重启 Prometheus 容器生效(
docker compose restart prometheus),在 Prometheus 界面的 Status → Rules 里能看到这条规则是否加载成功。
触发之后通知发到哪,有两条路线,二选一即可,别重复配:
| 路线 | 做法 | 适合 |
|---|---|---|
| Prometheus + Alertmanager | 再部署一个 Alertmanager 容器,在 prometheus.yml 里加 alerting 段指向它,由它负责把告警发到邮件/Webhook 等渠道 | 告警条数多、想要分组去重静默等专业能力 |
| Grafana 告警 | 直接在 Grafana 的 Alerting 里基于同一条 PromQL 建告警规则并绑通知渠道 | 就几台机器、规则不多,想少养一个组件 |
小规模场景我更推荐 Grafana 告警这一条,少一个容器少一份维护;等规则多到需要分组、静默、值班轮换时,再上 Alertmanager 也不迟。
资源占用与数据留存:小机器先算账
这套监控本身也是要吃资源的,先把账算清楚再决定上不上:
| 组件 | 大致资源占用 | 说明 |
|---|---|---|
| cAdvisor | 约 50–150MB 内存 | 和容器数量正相关,容器越多它越忙 |
| Prometheus | 约 200MB–1GB 内存 | 主要花在数据留存上:15 秒抓一次、几十个容器、留 15 天,磁盘占用通常在几个 GB 量级 |
| Grafana | 约 100–200MB 内存 | 很省,主要是画图时有点 CPU |
留存策略的核心就是部署时那个参数:--storage.tsdb.retention.time=15d。想省磁盘就改成 7d,想留一个月排查慢性问题就改成 30d,按磁盘大小和排查习惯权衡。改完重启 Prometheus 生效。另外可以顺手用 docker stats 观察几天这三个容器自己的占用,心里有个数——监控把宿主机挤垮就本末倒置了。
WARNING1 核 1GB 级别的小机器不要硬上这套三件套,光 Prometheus 和 Grafana 就能吃掉小半内存。这种机器用下面说的轻量探针就够了,需要看曲线时临时在本地电脑上连过去查也行。
定位区别:和 Uptime Kuma、Komari 怎么分工
这套三件套不是万能的,它和常见的两个轻量工具是分工关系,不是替代关系:
| 工具 | 回答的问题 | 粒度 | 资源成本 |
|---|---|---|---|
| Uptime Kuma | 服务活没活(HTTP/端口通不通) | 分钟级探活 | 极低 |
| Komari 等探针面板 | 机器大概怎么样(在线状态、负载、流量概览) | 秒级概览 | 低 |
| cAdvisor + Prometheus + Grafana | 容器为什么出问题(哪项资源、从何时起、涨得多快) | 秒级指标 + 历史曲线 + 规则告警 | 中高 |
一句话概括:Kuma 管「死没死」,探针管「多台机器一眼扫过去谁不对劲」,这套三件套管「定位到具体容器、具体资源、具体时间点」。轻量工具负责发现异常,三件套负责查清原因,已经在用 Kuma 或探针的完全不用拆,把这套补在需要深挖的主力机上即可,别每台机器都重复建设。
实战:用这套监控定位一次内存缓慢上涨
把工具用起来才算数,这里走一遍最典型的场景:某台机器隔几天就要手动重启一次容器,重启完好几天,然后又慢慢变卡,始终不知道是谁干的。
第一步,先在 Grafana 的内存面板把时间范围拉到最近 7 天。docker stats 永远看不到的画面出现了:十几个容器里,大部分是平的,只有一条线在以非常均匀的斜率一路向上爬,中间每次陡降都是你手动重启它的时刻——这就是典型的内存泄漏曲线,缓慢、持续、不回头。
第二步,确认涨势和速率。把那个容器的名字代入内存排行和速率查询,看它每天大概涨多少。PromQL 里没有直接的「内存变化速率」常用指标,但可以借 deriv() 或者干脆用一段时间窗口的首尾差来估算,比如用 container_memory_working_set_bytes{name="xxx"} - (container_memory_working_set_bytes{name="xxx"} offset 24h) 算出它 24 小时涨了多少字节。能算出每天涨 200MB、机器总共 4GB 内存,什么时候会被吃满就一目了然了。
第三步,找规律。把时间轴缩到 1 小时粒度,看上涨是匀速的还是台阶式的:如果每次某个定时任务跑完就跳一截,问题多半出在那批任务处理的代码路径上;如果是匀速上涨,则更像连接、缓存、会话这类只进不出的结构在堆积。再把 CPU 和网络曲线叠在一起看时间点是否对得上,证据链就完整了。
第四步,处理和验证。定位到容器只是开始:该升级镜像的升级、该给容器加内存上限的加上限(限制写法的细节见安全与资源限制篇),处理完之后继续盯着同一条曲线看两三天,斜率消失了才算真修好。这正是历史曲线最大的价值——它不只帮你找到问题,还能帮你确认问题真的没了,而不是自我安慰。
顺带说一个使用习惯:Grafana 里建议固定留三个视图——全机总览(一屏看所有容器的 CPU 和内存,扫一眼就知道谁不对劲)、单容器详情(出事时点进去深挖)、宿主机视图(配了 node-exporter 才有,看磁盘和整机负载)。视图不在多,顺手最重要,平时打开总览扫十秒,没事就关掉,有异常再往深里点。
排障
Prometheus 的 Targets 显示 DOWN
打开 Prometheus 界面(http://127.0.0.1:9090/targets),每个抓取目标都有状态。cAdvisor 显示 DOWN 时按顺序查:
- 看 DOWN 旁边写的错误信息,
connection refused是对方没起来或端口不对,context deadline exceeded是超时、对方卡了; - 确认 cAdvisor 容器本身在跑:
docker compose ps看状态,挂了就docker logs cadvisor看它为什么退出(最常见是四个卷挂载路径在宿主机上不存在或权限不对); - 确认两个容器在同一 Compose 网络、目标写的是服务名
cadvisor而不是localhost——在 Prometheus 容器里,localhost指的是它自己,这是新手最常踩的坑。
Grafana 里查不到数据
- 先回 Prometheus 界面自己写一条最简单的查询,比如
container_memory_usage_bytes,能查到说明数据没问题,锅在 Grafana 侧; - 查不到则说明抓取环节断了,回到上一条看 Targets;
- Prometheus 有数据、Grafana 没数据,重点查数据源 URL 是否写对(应该是
http://prometheus:9090)、Save & test 是否通过; - 数据源没问题但面板空白,多半是导入的仪表盘用的指标名或标签和你这版 cAdvisor 对不上,在面板的查询编辑器里把 PromQL 复制到 Prometheus 界面验证一遍,改成能查出结果的写法。
cAdvisor 指标为空或缺失
- 进 cAdvisor 自带界面点任意容器,如果界面里也没数据,是采集本身没工作,优先查四个卷是否都正确挂载(
docker inspect cadvisor看 Mounts),尤其是/sys和/var/lib/docker/; - 只有宿主机级指标缺、容器指标正常,按前文说明补
privileged: true后重建再看; - 指标有但 Prometheus 里搜不到,检查抓取间隔内 cAdvisor 是否重启过(计数器归零会让
rate()短暂异常),等两个抓取周期再看; - 内存指标看着比
docker stats大一截,通常不是错——container_memory_usage_bytes含文件缓存,看「真实压力」改用container_memory_working_set_bytes,两个指标的口径区别在前面的速览表里写了。
小结
docker stats只能看当下,历史、曲线、告警这三样必须靠正经监控补齐;- 分工记牢:cAdvisor 采集、Prometheus 存储与查询、Grafana 出图与告警,数据是被 Prometheus 定时拉走的;
- 部署的命门就三处:cAdvisor 的四个只读挂载、Prometheus 和 Grafana 的数据卷、三个端口只绑
127.0.0.1; - PromQL 先掌握
rate()、increase()、changes()和五个示例,出事时能自己查才是这套东西的真正价值; - 告警规则记得加
for: 5m这类持续时间,过滤毛刺;通知渠道 Prometheus 路线和 Grafana 路线二选一; - 上之前先算资源账,小机器用轻量探针,主力机再上三件套,和 Uptime Kuma、Komari 分工配合,不重复建设。