凌晨三点,监控告警弹出来:服务器磁盘 100%,服务全停。SSH 登上去一看,业务数据没涨多少,MySQL 也好端端的,真正把盘吃干的是 Docker——几个月没管过的镜像、构建缓存和容器日志,悄无声息地堆了几十个 GB。这种场面处理起来最怕两件事:一是慌了手脚乱删,把数据删没;二是删了半天空间没回来,服务还起不来。
这一篇就讲怎么稳稳地处理:先把账看清楚,再只用边界明确的安全命令清理,最后配一个只报告、不删除的巡检脚本,让磁盘水位永远提前预警,而不是等告警半夜把你叫醒。
Docker 的盘,都被谁吃了
Docker 的磁盘占用集中在 /var/lib/docker 目录下,官方口径里分四类,先建立这个全景,后面的命令才看得懂:
| 占用类别 | 装的是什么 | 能不能清 |
|---|---|---|
| Images(镜像) | 拉取和构建的镜像层,含悬空镜像 | 悬空的可清,在用的别动 |
| Containers(容器) | 已停止容器的可写层和日志 | 确认无用后可清 |
| Local Volumes(数据卷) | 数据库、上传文件等持久化数据本体 | 绝不能当垃圾清 |
| Build Cache(构建缓存) | BuildKit 构建时留下的中间层缓存 | 可清,只是下次构建慢一点 |
除了这四类,还有一个隐形大户:容器日志。json-file 日志默认没有大小上限,归在容器名下慢慢长,经常是磁盘爆掉的真正元凶,后面单独讲。
第一步:先看账,别先动手
治理的第一原则是先看账,再动手。Docker 自带了现成的账本命令:
docker system df输出四行,对应上面四类占用,每类给出总数、活动数、总大小和可回收量(RECLAIMABLE):
TYPE TOTAL ACTIVE SIZE RECLAIMABLEImages 24 9 18.42GB 11.27GB (61%)Containers 15 11 2.316GB 845.2MB (36%)Local Volumes 8 6 9.874GB 1.203GB (12%)Build Cache 63 0 7.651GB 7.651GB光看汇总还不够下手,加 -v 看明细,每个镜像、容器、数据卷、缓存条目各占多少、可回收多少,一行行列清楚:
docker system df -v重点看三处:哪些镜像体积大又没容器在用、哪些数据卷占着空间却没有容器挂载、构建缓存攒了多少。账看到这一步,心里就该有数了:这台机器的盘主要是被谁吃的、能安全回收的大概有多少。
还有一个命令可以配合着看整机水位:
df -h /du -sh /var/lib/dockerdf -h 看分区还剩多少,du -sh 确认 Docker 目录占了多少。两个数对得上,后面的清理才有的放矢。
安全清理三件套:边界一条条写明
确认完账目,只用下面三条命令清理。它们的共同特点是删除范围明确、只碰”确定没用”的东西。每条都先说清删什么、不删什么,看明白再敲。
一、清悬空镜像:docker image prune
docker image prune- 删什么:悬空镜像(dangling images),即构建新版本后留下的、没有任何标签、也没有容器引用的旧层。
- 不删什么:所有带标签的镜像,哪怕当前没有容器在用——你留着回滚的旧版本就在其中,安然无恙。
执行时会列出要删的镜像并要求确认,删完会打印回收了多少空间。这是最日常、最安全的一条,建议每次构建完新镜像顺手跑一次。
二、清构建缓存:docker builder prune
docker builder prune- 删什么:BuildKit 的构建缓存条目。
- 不删什么:镜像本体、容器、数据卷一概不碰。代价仅仅是下次构建少了缓存、慢一些而已。
缓存别一刀切全清,可以按时间过滤,只清一周前的:
docker builder prune --filter "until=168h"until=168h 表示只回收 168 小时(7 天)以前的缓存,近期构建还要用的热缓存留着,兼顾空间和构建速度。
三、清已停止容器:docker container prune
docker container prune- 删什么:已经停止的容器本体,包括它的可写层。
- 不删什么:运行中的容器不受影响;数据卷默认也不删(除非你额外加
--volumes,千万别加,理由看下一节红线二)。
跑之前先列出来确认一遍,别凭记忆:
docker ps -a --filter "status=exited"逐个核对:有没有哪个停掉的容器里还留着没导出的临时文件、没看完的日志。确认全部无用,再执行 prune。
两条红线:这两条命令不要随手跑
清理命令里有两条是”能跑,但后果你未必兜得住”,单独拎出来写死。
WARNING红线一:绝不随手跑
docker system prune -a。 它会删掉所有没有被容器使用的镜像(包括你留着回滚的带标签旧版本)和未使用的网络。下次启动服务要把镜像全部重新拉一遍,网络不通时直接卡死;旧版本镜像没了,出问题想回滚都没得回。本站作者本人就吃过prune -a误删的亏:一条命令图省事,代价是半夜重拉镜像、回滚版本找不回来。清理永远用上面三件套逐条来,不用这条”全家桶”。
WARNING红线二:绝不跑
docker volume prune。 数据卷里装的不是缓存,是数据库的数据文件、用户上传的附件、应用的状态本体。删卷就是真删数据,没有回收站、没有后悔药。卷占用大是”排查”问题,不是”清理”问题:先按后面一节的方法定位是哪个卷、哪个应用在涨,再从应用侧处理(清历史数据、做归档、扩容),而不是从 Docker 侧把卷端掉。卷的备份与恢复方法看 Docker 数据卷与备份。
记住这两条,磁盘治理就翻不了大车。剩下的都是耐心活。
隐形大户:容器日志吃盘
四类账目都正常、盘却还是满,多半是日志。json-file 驱动默认对单个日志文件不设上限,一个话痨容器几个月写出几十 GB 的日志毫不稀奇。
先定位,按大小把日志文件排出来:
find /var/lib/docker/containers -name "*-json.log" -exec ls -lh {} \; | sort -k 5 -rh | head或者一条命令直接算总账:
du -sh /var/lib/docker/containers/*/*-json.log 2>/dev/null | sort -rh | head找到大户后注意:不要直接 rm 正在写入的日志文件,删了空间也不释放(原因见排障第三节)。临时止血可以用截断:
truncate -s 0 /var/lib/docker/containers/<容器ID>/<容器ID>-json.log根治是给日志加上限。单容器在 docker run 时加参数,或在 Compose 里写:
services: app: image: myapp:latest logging: driver: json-file options: max-size: "20m" max-file: "3"全局生效则写进 /etc/docker/daemon.json,对所有新建容器统一限额:
{ "log-driver": "json-file", "log-opts": { "max-size": "20m", "max-file": "3" }}改完 daemon.json 需要重启 Docker 生效,且只对之后新建的容器起作用,老容器要重建才吃上新配置。日志驱动与轮转的完整讲法在 Docker 日志管理 里,这里只强调一句:日志不限额,磁盘爆掉只是时间问题。
数据卷占用排查:定位大户,而不是删它
卷涨得快,先定位是哪个卷、涨的是什么:
# 账本视角:每个卷的大小和链接数docker system df -v
# 文件系统视角:每个卷目录实际占用du -sh /var/lib/docker/volumes/*/两边对照,锁定大户卷之后,进到卷的挂载点看内容构成(只读查看,别动文件):
docker volume inspect <卷名> # 看 Mountpoint 路径du -sh <Mountpoint路径>/* | sort -rh | head常见结论无非几种:数据库没做历史数据清理、上传目录只进不出、应用把缓存写进了卷。处理都在应用侧:清过期数据、做冷数据归档、给卷扩容。再次提醒,排查的终点是”知道谁在涨”,不是”把卷删了”。
overlay2 目录:只许看,不许手工删
在 /var/lib/docker 里翻找大文件时,很多人会撞见 overlay2 目录占了大半,于是想进去删几个看起来没用的层目录。千万别动:overlay2 里是镜像层和容器可写层的实际数据,层之间的引用关系记在 Docker 的元数据里。手工删掉任何一个子目录,元数据就和实际文件对不上,轻则镜像损坏拉不起来,重则一片容器跟着报错,最后只能整体重建。
这个目录只用 du -sh /var/lib/docker/overlay2 看个总量就够了。它的大小应该和 docker system df 里镜像加容器的账大致对得上;对不上、或者想回收,都回到 Docker 命令(image prune 等)走正规渠道,让 Docker 自己维护元数据的一致性。
巡检脚本:只报告,不删除
治理不是一次性大扫除,而是让水位永远可见。写一个巡检脚本,只做两件事:打印 Docker 账本、报告磁盘水位,绝不带任何删除命令:
#!/bin/bash# 只报告不删除:输出 Docker 磁盘账目与分区水位
echo "===== $(date '+%F %T') Docker 磁盘巡检 ====="docker system dfechodf -h / /var/lib/docker 2>/dev/null | grep -v '^Filesystem'echo
# 根分区用到 85% 以上时在输出里打醒目标记,方便配合告警USE=$(df / --output=pcent | tail -1 | tr -dc '0-9')if [ "$USE" -ge 85 ]; then echo "!! 警告:根分区已用 ${USE}%,请人工检查并清理 !!"fichmod +x /usr/local/bin/docker-disk-report.sh挂到 cron 每周跑一次,结果留档:
30 8 * * 1 /usr/local/bin/docker-disk-report.sh >> /var/log/docker-disk-report.log 2>&1设计原则就一条:巡检只负责喊,清理永远人工确认后手动执行——脚本里不出现任何 prune 字样。这样既不会重演”自动清理误删数据”,又能保证你在磁盘真正爆掉之前一两周就看到趋势。手动清理时的命令速查可以配合 Docker 常用命令与排障 一起看。
排障小节
df 显示可回收很多,但不敢删,怎么办
先分清”可回收”的构成:docker system df -v 逐项看。构建缓存占大头就放心清 builder prune;悬空镜像占大头就 image prune;如果可回收主要来自”有标签但没容器在用”的镜像,那是 system df 按”未被容器引用”口径算的,里面混着你的回滚版本,不要动。实在拿不准,先只清缓存和悬空镜像这两类零风险的,通常就能回收大半。
删了悬空镜像,磁盘体积没降多少
几种可能:一是悬空镜像的层和在用镜像共享底层,共享层不会被删,实际只回收了独占的那部分,看着”删了很多个”但体积不大;二是空间其实被日志或卷占着,镜像本来就不是大户,删完自然没感觉——回到 docker system df -v 重新对账;三是文件系统层面删除还没落盘,等几秒再 df -h 复查。
容器日志文件删掉了,空间却没释放
典型的”进程还占着句柄”:容器进程(经由 Docker 的日志驱动)还打开着那个已删除的日志文件,文件名虽然没了,inode 在进程关闭文件前不会释放,df 看到的空间就下不来。处理办法:重启对应容器,句柄释放空间立刻回来;或者一开始就用 truncate -s 0 截断而不是 rm,截断是把文件内容清零、inode 不变,不存在句柄问题。这也是前面强调不要直接 rm 在写日志的原因。
builder prune 之后构建变慢了
正常现象:缓存被清掉,下一次构建要从头跑每一步。后续构建会重新攒起缓存。如果构建频繁,用 docker builder prune --filter "until=168h" 只清旧缓存,别全清;也可以给 BuildKit 配缓存保留策略,把”全清”改成”滚动过期”。
小结
Docker 磁盘治理的顺序永远是:docker system df 看账 → df -v 定位大户 → 三件套逐条安全清理 → 日志和卷单独排查 → 巡检脚本长期盯水位。两条红线刻在脑子里:不用 docker system prune -a 图省事,不碰 docker volume prune 删数据。盘是慢慢吃满的,治理也靠习惯:每次构建后顺手清悬空镜像,日志从第一天就限额,每周看一眼巡检报告——做到这三点,凌晨三点的磁盘告警就不会再找上门。