同一个服务,镜像没变、代码没变,只是把日志驱动从默认值换掉,写入吞吐能差出一截;存储驱动选错更夸张,镜像层不再共享,每起一个容器都是一次整文件复制。这两笔账平时不显眼,因为默认配置对大多数场景够用;可一旦服务开始高频打日志、容器数量上了规模,或者宿主机磁盘开始吃紧,驱动选型就是绕不过去的一课。
日志那边怎么配轮转、怎么查日志,Docker 日志管理那篇已经讲过,本篇不重复,只算性能与代价这笔账:每个驱动快在哪、慢在哪、丢日志的风险藏在哪。
先查清:自己到底在用什么驱动
动手之前先看现状,两个命令就够:
docker info | grep -E "Storage Driver|Logging Driver"输出大致是这样:
Storage Driver: overlay2 Logging Driver: json-file这是 daemon 级的默认值。单个容器实际用的驱动可能被 --log-driver 单独覆盖过,查某个容器要用 inspect:
docker inspect -f '{{.HostConfig.LogConfig.Type}}' 容器名docker inspect -f '{{.Driver}}' 容器名先确认现状再谈优化,是驱动调优的第一原则:很多人以为自己在用 json-file,实际上老容器是当年用别的驱动起的,daemon 改了默认值也影响不到它们。
日志驱动五方对比
Docker 的日志驱动决定容器 stdout/stderr 写到哪里、以什么代价写。下面是五个常用驱动的官方口径对比:
| 驱动 | 日志去向 | 轮转 | docker logs 能否读 | 性能与代价 |
|---|---|---|---|---|
| json-file | 宿主机 JSON 文件 | 无自动轮转,必须配 max-size/max-file | 能,直接读文件 | 默认选项,简单可靠;高频写入时序列化与落盘开销明显 |
| local | 宿主机二进制文件 | 自带轮转与压缩,有默认上限 | 能 | 官方为高性能场景推荐,写入路径更短 |
| journald | systemd journal | 由 journal 自身策略管理 | 能(较新版本) | 带容器元数据标签,用 journalctl 查;依赖宿主机跑 systemd |
| syslog | syslog 设施(本地或远程) | 由 syslog 服务管理 | 不能 | 适合已有日志集中收集体系的环境 |
| none | 丢弃 | 不适用 | 不能 | 零开销最快,但出事时两眼一抹黑 |
逐个说清:
json-file 是默认驱动,日志以 JSON 格式逐行落盘,docker logs 直接读这个文件。它的问题不在功能而在两点:一是它没有自动轮转,不配 max-size/max-file 日志文件会无限长大,把磁盘吃满只是时间问题;二是每行日志都要做 JSON 序列化,高频输出的服务这笔开销实打实。
local 是 Docker 官方专门为性能做的驱动:内部格式更紧凑,自带轮转和压缩,默认上限是 max-size 20m、max-file 5,也就是单个容器最多留约 100 MB 日志,不用再操心爆盘。它同样支持 docker logs,日常使用习惯和 json-file 没有区别。
journald 把日志送进 systemd 的 journal,好处是天然带上容器名、镜像等元数据标签,运维可以用熟悉的 journalctl 按单元、按时间过滤:
journalctl CONTAINER_NAME=容器名 -fjournalctl -u docker --since "1 hour ago"代价是宿主机必须跑 systemd,且日志多了一道转发。
syslog 适合已经有集中日志体系(比如统一收集到日志服务器)的环境,容器日志直接进现有管道;但 docker logs 读不到它,排障时要去日志系统里捞。
none 直接丢弃所有日志,写入开销为零。只适合那种日志另有出口(应用自己写文件、自己上报)的服务,普通服务用它等于主动放弃唯一的排障线索。
local 为什么是认真选项
很多人对 local 的印象还停留在「新驱动、不敢用」。实际上它的定位很明确:当你不需要把日志转发到外部系统、只想在宿主机上留一份能查的日志时,local 就是比 json-file 更优的默认。
两者的取舍可以这样算:
| 对比项 | json-file | local |
|---|---|---|
| 轮转 | 必须手动配 max-size/max-file | 自带,默认 20m × 5 |
| 压缩 | 无 | 自带压缩,省磁盘 |
| 写入开销 | JSON 逐行序列化 | 二进制格式,开销更低 |
| docker logs | 支持 | 支持 |
| 日志文件可读性 | 文本,可直接 cat/grep | 二进制,需 docker logs 读取 |
唯一的实质让步是日志文件不再是纯文本,没法直接用 grep 翻宿主机上的文件。但说实话,查容器日志本来就该用 docker logs,直接翻文件的场景少之又少。给 json-file 补上轮转配置是这样的:
docker run -d \ --log-driver json-file \ --log-opt max-size=20m \ --log-opt max-file=5 \ 镜像名而 local 连这份配置都可以省掉,或者按需调大:
docker run -d \ --log-driver local \ --log-opt max-size=50m \ --log-opt max-file=5 \ 镜像名WARNING不要被「高性能」三个字冲昏头:如果你的日志本来就要进集中收集系统(journald、syslog 或外部采集器在读文件),换 local 反而会打断现有管道。驱动选型先看日志最终要去哪,再看快不快。
被忽略的代价:日志的双写与阻塞模式
还有一笔账藏在日志驱动的投递模式里。容器进程写 stdout,看起来是写给「管道」,实际上 Docker 要把这份输出再投递给日志驱动落盘或转发——这就是所谓的双写。投递模式有两种:
- blocking(阻塞,默认):日志驱动处理慢时,容器的写操作会被卡住等它。日志系统一卡顿,应用跟着卡顿。
- non-blocking(非阻塞):日志先进内存缓冲,缓冲满了就丢弃新日志,应用永远不等。
docker run -d \ --log-driver json-file \ --log-opt mode=non-blocking \ --log-opt max-buffer-size=10m \ 镜像名取舍很清楚:blocking 模式下,日志管道的延迟就是应用的延迟,一个写日志的网络驱动抖一下,高并发服务能被拖到超时;non-blocking 保住了应用吞吐,代价是极端情况下日志会缺斤少两。对绝大多数业务服务,日志完整性的优先级低于服务可用性,non-blocking + 一个够大的缓冲是更合理的组合;只有审计类、计费类这种「一行都不能丢」的日志,才值得用 blocking 并接受它的代价。
存储驱动:overlay2 的地位与 vfs 的真实用途
存储驱动决定镜像层和容器可写层怎么落在磁盘上。这一项的选择空间其实很小:
overlay2 是当前默认、也是官方推荐的存储驱动,基于内核的 OverlayFS,镜像层共享、容器只写差异层,空间和速度都在线。它对底层文件系统有要求:宿主机文件系统须是 ext4,或者 xfs 且 xfs 必须以 ftype=1 格式化,否则 overlay2 起不来。查 xfs 的 ftype:
xfs_info /var/lib/docker | grep ftype# 输出里应有 ftype=1vfs 是另一个极端:它不用任何联合文件系统,每一层都是实打实的目录拷贝,不共享、不写时复制。起一个容器就是把镜像文件整份复制一遍,慢且费盘。它存在的意义只有排障——当内核或文件系统环境特殊到 overlay2 实在跑不起来时,vfs 能让 Docker 至少能工作,用来验证「问题是不是出在存储驱动上」。生产环境长期用 vfs,等于自愿放弃镜像层共享的全部好处。
btrfs 与 zfs 驱动各自绑定对应文件系统,有自己的快照与校验场景,但它们不是官方默认推荐路线,宿主机没在用这两个文件系统就不用考虑,不要为了「看起来高级」去换。
关于层数有个常见误解:层越多,overlay 查找文件时要穿透的层数越多,理论开销确实存在;但在现代内核下这点差距小到很难测出来,真正吃掉 IO 的大头,通常是日志写入和数据卷里的应用数据,而不是镜像层数。为省两层去大改 Dockerfile,收益远不如先把日志驱动和数据卷理顺。
overlay2 的层数据落在宿主机的这个目录:
du -sh /var/lib/docker/overlay2这个目录只许看、绝不许手工进去删文件——层之间的引用关系由 Docker 自己维护,手删一层,依赖它的镜像和容器全会损坏。空间治理要用 Docker 自己的命令,方法在 Docker 磁盘空间治理那篇里。
换驱动的操作与代价
日志驱动可以在两个级别设置。daemon 级写进 /etc/docker/daemon.json,影响之后新建的容器:
{ "log-driver": "local", "log-opts": { "max-size": "20m", "max-file": "5" }}改完重启 Docker 生效:
sudo systemctl restart docker容器级则在启动时用 --log-driver 单独指定,优先级高于 daemon 默认。
必须知道的代价是:已经在跑的容器不会跟着变。驱动是容器创建时定下来的配置,改 daemon.json、甚至重启 Docker,老容器依然用旧驱动继续写。想让某个容器换驱动,只能删掉重建:
docker rm -f 容器名docker run -d --log-driver local ... 镜像名WARNING重建容器前先确认数据在数据卷或绑定挂载里,不在容器可写层——可写层会随容器删除一起消失。无状态服务随便重建,有状态服务先做备份再动。
存储驱动的切换代价更大:它同样写在 daemon.json 的 storage-driver 字段里,但切换之后,旧驱动下已有的镜像和容器在新驱动视角里等于不存在(数据还躺在磁盘上,但 Docker 不再认)。所以存储驱动只适合在新装机器、或明确打算清空重来的机器上动,老机器维持 overlay2 现状就是最优解。daemon 级的其他调优项(镜像加速、并发、数据根目录等)集中在 Docker 守护进程调优那篇。
排障小节
1. docker logs 读不到日志,怀疑驱动选错
先查这个容器实际的驱动:
docker inspect -f '{{.HostConfig.LogConfig.Type}}' 容器名如果驱动是 syslog 或 none,docker logs 本来就读不到,去日志系统里查或直接放弃这条线;如果是 journald,较新版本的 Docker 是支持 docker logs 读取的,读不到时优先怀疑版本太老或 journal 服务异常,改用 journalctl CONTAINER_NAME=容器名 直接查。
2. 服务一打日志 CPU 就飙升
大概率是 blocking 模式在拖后腿:应用每次写 stdout 都在等日志落盘。先看驱动与模式:
docker inspect -f '{{json .HostConfig.LogConfig}}' 容器名处理方向:换 local 降低单次写入开销,或给驱动加 mode=non-blocking 与合理的 max-buffer-size,重建容器生效。
3. Docker 起不来,日志报 overlay2 相关错误
在 xfs 宿主机上最常见的原因是格式化时没带 ftype=1:
xfs_info / | grep ftype若是 ftype=0,overlay2 无法工作,这个参数不能在线修改,只能备份数据、重新格式化文件系统(mkfs.xfs 默认已带 ftype=1,老镜像装的系统容易踩)。临时验证可以用 vfs 驱动把 Docker 拉起来确认其余部分正常,但 vfs 只作诊断,别当长期方案。
4. 换了 daemon 默认驱动,老容器日志还是老样子
这不是没生效,而是机制如此:驱动在容器创建时固化。逐个确认哪些容器还在用旧驱动,排期重建即可,别反复重启 Docker 浪费时间。
小结
驱动这笔账的结论并不复杂:日志侧,没有外部收集需求时 local 是比 json-file 更省心的默认,自带轮转压缩、写入更轻;保留 json-file 就必须配 max-size/max-file。投递模式上,业务服务优先 non-blocking 保可用性,审计日志才用 blocking 换完整性。存储侧,overlay2 就是答案,保持底层 ext4 或 xfs ftype=1 即可,vfs 只留给排障验证。最后记住两条操作纪律:换日志驱动要重建容器,/var/lib/docker/overlay2 只看不删。