容器排障深挖:nsenter 与 strace
容器进程突然不响应了,你敲下 docker exec,结果只有一行报错:镜像里根本没有 shell。精简镜像、distroless 镜像、scratch 镜像在生产环境越来越常见,它们把攻击面和体积都压到了最小,代价是排障时你连 ls、ps、curl 都没有。更麻烦的是,很多问题压根不在容器「里面」——进程卡死在某个系统调用上、网络命名空间里的路由不对、cgroup 限额早就顶满了,这些在容器内部用常规命令根本看不见。
这一篇讲的是一套不依赖容器内部工具的深挖手法,全部从宿主机侧下手:
- 用
docker inspect拿到容器主进程在宿主机上的真实 Pid; - 用
nsenter钻进容器的网络、挂载、进程等命名空间,借宿主机的工具排查; - 用
strace直接跟踪进程的系统调用,看它到底卡在哪一行; - 用
tcpdump在容器的网络命名空间里抓包,确认流量到底通没通。
基础的命令速查和常规排障链路,可以先看《Docker 常用命令速查与排障实战》:/posts/docker-commands-troubleshooting/ 。这一篇是它的进阶篇,处理的是常规命令失效之后的疑难杂症。
为什么需要这套手法
先把场景说清楚。日常排障里最顺手的路径是 docker exec -it <容器> sh,进容器里慢慢看。但这条路在下面几种情况下直接断掉:
| 场景 | 为什么 exec 进不去或没用 |
|---|---|
| distroless 镜像(如 gcr.io/distroless 系列) | 只有应用本体和运行时,没有 shell、没有 coreutils |
| scratch 镜像(Go 静态编译常见) | 镜像里只有一个二进制文件,连 libc 都没有 |
| 容器主进程已卡死 | exec 需要在容器里 fork 新进程,进程空间异常时直接超时 |
| 生产环境规范严格 | 不允许往容器里临时装工具、不允许改镜像,排障不能动现场 |
| 问题在命名空间层面 | 容器内工具看到的视图本身就是「案发现场」,需要从宿主机侧交叉验证 |
还有一个更根本的原因:容器不是虚拟机,它在宿主机上就是一组被命名空间和 cgroup 包起来的普通进程。既然是普通进程,宿主机上针对普通进程的全部武器——nsenter、strace、/proc 文件系统——就全都能用,而且视角更高、信息更全。这套手法的本质,就是跳出容器给你的那一小块视图,回到宿主机层面看全局。
WARNING这套手法全部需要宿主机 root 权限,且只能用在你自己有完全控制权的机器上。
nsenter和strace能看到进程的全部内存视图、网络流量和文件访问,给别人机器上的容器用属于越权操作,别碰。
原理速通:容器进程在宿主机上长什么样
动手之前,先建立一个正确的 mental model,后面所有命令都是它的推论。
Linux 用命名空间(namespace)给进程做视图隔离。同一个进程,在容器里看自己是 1 号进程、网卡只有 eth0、根目录是镜像那一层;在宿主机上看,它有一个真实的 Pid(比如 12847)、真实的网络在宿主机的网络栈里、真实的文件落在 overlay2 的目录里。隔离的维度一共有七类,本篇用得上的是前四个:
| 命名空间 | 隔离内容 | 排障时的意义 |
|---|---|---|
| mount(mnt) | 挂载点与文件系统视图 | 决定进程看到的根目录和挂载卷 |
| net | 网卡、路由、iptables、端口 | 决定进程的网络连通性 |
| pid | 进程编号与进程树视图 | 决定 ps 能看到哪些进程 |
| uts | 主机名与域名 | 决定 hostname 的输出 |
| ipc | 进程间通信(信号量、共享内存) | 少数中间件排障会用到 |
| user | 用户与组 ID 映射 | rootless 场景相关 |
| cgroup | cgroup 视图 | 影响进程读到的限额信息 |
找到容器主进程的真实 Pid 是第一步,命令固定:
# 取容器主进程在宿主机上的 Piddocker inspect -f '{{.State.Pid}}' myapp
# 输出示例12847拿到这个 Pid 之后,宿主机上立刻多出三个信息入口:
# 1. 进程的完整状态都在这个目录里ls /proc/12847/
# 2. 进程眼里的根目录,就是这个符号链接指向的位置ls -l /proc/12847/root
# 3. 进程所属的每个命名空间,都是一个可进入的句柄ls -l /proc/12847/ns//proc/<pid>/ns/ 目录下每个文件都对应一个命名空间,nsenter 做的事情,本质上就是调用 setns() 系统调用把自己「塞进」这些命名空间里。理解了这一点,下面所有操作都不需要死记硬背。
nsenter 全套:借宿主机的工具进容器的空间
nsenter 属于 util-linux 包,绝大多数发行版默认自带。先确认一下:
which nsenter || apt-get install -y util-linux参数对照表
nsenter 的核心参数就两个:-t 指定目标进程 Pid,后面跟的字母决定进哪个命名空间。
| 参数 | 进入的命名空间 | 典型用途 |
|---|---|---|
-m | mount(挂载) | 看容器眼里的文件系统、挂载卷 |
-n | net(网络) | 查网卡、路由、监听端口、抓包 |
-p | pid(进程) | 配合 -m 看容器内的进程树 |
-u | uts | 看/改容器眼里的主机名,极少用 |
-i | ipc | 查共享内存、信号量,偶尔用 |
-U | user | rootless 容器排障时配合用 |
-a | 全部 | 一次性进入所有命名空间 |
无字母,仅 -t | 不进任何空间 | 只以目标进程为锚点运行命令(配合读 /proc 用) |
进网络命名空间:排查连通性
这是最高频的用法。目标:在容器的网络视图里,用宿主机上现成的 ip、ss、curl 干活。
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 进入容器的网络命名空间,后续命令都在容器的网络视图里执行nsenter -t $PID -n ip addrnsenter -t $PID -n ip routensenter -t $PID -n ss -tlnp几个关键检查点,按顺序看:
# 容器自己的 IP 和网卡状态(UP 还是 DOWN)nsenter -t $PID -n ip -br addr
# 默认网关在不在、指向对不对nsenter -t $PID -n ip route show default
# 从容器视角直连网关和外部目标nsenter -t $PID -n ping -c 2 172.17.0.1nsenter -t $PID -n curl -v --connect-timeout 3 http://172.17.0.5:3306注意最后一个细节:在网络命名空间里用宿主机的 curl 去连数据库端口,验证的是「容器网络视角下这条路通不通」,而 curl 二进制本身来自宿主机文件系统——因为我们只进了 net 空间,没进 mount 空间,文件系统用的还是宿主机的。这正是 nsenter 的精妙之处:每个命名空间可以单独进,只借需要的那个视图,其余全用宿主机的环境和工具。
进挂载与进程空间:看容器眼里的世界
想完整复现容器内部的视图,用 -m -p 组合,再 chroot 到进程的根目录:
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 进入挂载+进程+网络空间,并切换根目录到容器的根nsenter -t $PID -m -p -n chroot /proc/$PID/root /bin/shWARNING这条命令对 scratch 镜像同样无效——容器根目录里没有
/bin/sh,chroot 进去也没有 shell 可跑。它的价值在于 distroless 之外、镜像里有 shell 但docker exec通道坏了的场合。scratch 镜像请直接用后面的/proc/<pid>/root静态查看法。
只看文件、不需要交互时,更轻量的办法是直接读目录,后面备选手法一节会展开。
在容器的网络空间里抓包
判断「请求到底有没有到达容器」「容器发出去了没有」,抓包是最硬的证据:
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 在容器网络命名空间里抓 eth0 的包,只看 8080 端口nsenter -t $PID -n tcpdump -i eth0 -nn port 8080
# 抓下来存文件,拿回宿主机用 Wireshark 慢慢看nsenter -t $PID -n tcpdump -i eth0 -nn -w /tmp/app.pcap port 8080读抓包结果时盯住三件事:有没有 SYN 进来(请求是否到达)、有没有 SYN-ACK 回去(应用是否在监听并响应)、握手之后有没有立刻 RST(应用层主动拒绝还是防火墙拦截)。这三点能把「网络不通」这个笼统结论拆成具体的断点位置。
没有 nsenter 时的备选手法:/proc 大法
老系统、精简宿主机上可能没有 nsenter,或者版本太旧缺参数。这时 /proc 文件系统就是备选通道,下面三招不需要任何额外工具:
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 招式一:直接浏览容器眼里的整个文件系统(只读查看足够排障)ls /proc/$PID/root/etc/cat /proc/$PID/root/etc/resolv.conf
# 招式二:看进程的挂载表,确认卷挂对了没有cat /proc/$PID/mounts
# 招式三:看进程实际加载的环境变量(排查配置注入失败极好用)tr '\0' '\n' < /proc/$PID/environ其中招式三特别值得记住:容器启动后改了 Compose 文件但没重建、或者 --env-file 没生效时,/proc/<pid>/environ 里是进程真正吃到的环境变量,一个字都做不了假。
还有一招是看命名空间本身的归属关系,判断两个容器是否在同一网络空间(比如 sidecar 模式):
# 比较两个进程的 net 命名空间 inode,一样就是共享网络ls -l /proc/12847/ns/net /proc/13502/ns/netstrace 入门:看进程到底卡在哪一行
nsenter 解决的是「视图」问题,strace 解决的是「行为」问题:进程不响应、不报错、不退出,它到底在等什么?strace 把进程发出的每一个系统调用都打印出来,这是 Linux 排障里最接近「读心术」的工具。
基本姿势:附加到运行中的进程
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 附加跟踪,按 Ctrl+C 停止(只是停止跟踪,不影响目标进程)strace -p $PID
# 带时间戳和调用耗时,输出更易读strace -tt -T -p $PIDWARNING
strace附加到生产进程会让它明显变慢——每个系统调用都要被拦截两次。高并发进程上不要长时间挂着 strace,看清卡点就立刻撤;更不要在流量高峰对核心交易进程使用。
几个必备参数:
| 参数 | 作用 |
|---|---|
-p <pid> | 附加到已运行进程 |
-f | 跟踪子进程与线程(多线程程序必加) |
-tt | 每行打印微秒级时间戳 |
-T | 每行末尾打印该调用的耗时 |
-e trace=network | 只看网络类调用 |
-e trace=file | 只看文件类调用 |
-e trace=%file | 同上(新版写法) |
-o file.log | 输出写文件,避免刷屏 |
-s 200 | 字符串打印长度上限,默认 32 太短 |
实战例一:卡在 connect,连不上数据库
进程假死,strace -p 挂上去,满屏重复同一行:
connect(7, {sa_family=AF_INET, sin_port=htons(3306), sin_addr=inet_addr("172.17.0.5")}, 16) = -1 EINPROGRESS (Operation now in progress)poll([{fd=7, events=POLLOUT}], 1, 5000) = 0 (Timeout)close(7) = 0socket(AF_INET, SOCK_STREAM, IPPROTO_IP) = 7connect(7, {sa_family=AF_INET, sin_port=htons(3306), sin_addr=inet_addr("172.17.0.5")}, 16) = -1 EINPROGRESS读法:进程在不停地新建连接、等 5 秒超时、关掉重来。结论非常明确——不是应用逻辑死锁,是目标 172.17.0.5 的 3306 端口根本连不上,应用在无限重试。下一步就该去查数据库容器是不是挂了、网络通不通(正好接回 nsenter -n 那一套),而不是去翻应用代码。
实战例二:反复 open 一个不存在的文件
openat(AT_FDCWD, "/app/config/prod.yaml", O_RDONLY) = -1 ENOENT (No such file or directory)openat(AT_FDCWD, "/app/config/prod.yaml", O_RDONLY) = -1 ENOENT (No such file or directory)openat(AT_FDCWD, "/app/config/prod.yaml", O_RDONLY) = -1 ENOENT (No such file or directory)返回值 -1 ENOENT 就是文件不存在。进程在循环重试读同一个路径,说明挂载或配置注入出了问题:卷没挂上、路径拼错、或者环境变量指错了环境。配合前面的 cat /proc/<pid>/mounts 和 ls /proc/<pid>/root/app/config/ 两条命令,五分钟内就能锁定到底是没挂还是挂错了。
常见返回值速查:
| 返回值 | 含义 | 常见原因 |
|---|---|---|
ENOENT | 文件/路径不存在 | 挂载缺失、路径写错 |
EACCES | 权限不足 | 文件属主、只读挂载、能力限制 |
ECONNREFUSED | 连接被拒绝 | 对端端口没监听 |
ETIMEDOUT | 连接超时 | 防火墙丢包、路由不通 |
EAGAIN | 资源暂时不可用 | 非阻塞调用没就绪,常与 poll 配合出现 |
实战例三:futex 满屏,进程在等锁
futex(0x7f8c4c0a3d80, FUTEX_WAIT_BITSET_PRIVATE|FUTEX_CLOCK_REALTIME, 0, NULL, FUTEX_BITSET_MATCH_ANY) = -1 ETIMEDOUT (Connection timed out)futex(0x7f8c4c0a3d80, FUTEX_WAIT_BITSET_PRIVATE|FUTEX_CLOCK_REALTIME, 0, NULL, FUTEX_BITSET_MATCH_ANY) = -1 ETIMEDOUTfutex 是线程同步的底层机制。满屏 FUTEX_WAIT 且没有其他调用,说明线程在等一把锁或一个条件变量——这是应用层死锁或线程池耗尽的典型特征,宿主机侧能做的到此为止,结论是「带上线程栈快照回去查代码」,而不是继续在系统层打转。判断「问题在系统层还是应用层」,本身就是 strace 最重要的产出之一。
只看某一类调用:按类别过滤
全量输出太吵时,用 -e trace= 只盯一类:
# 只看网络:进程在跟谁通信、连得上连不上strace -f -e trace=network -p $PID
# 只看文件:进程在读哪些配置、写哪些路径strace -f -e trace=%file -p $PID
# 只看内存与进程控制:排查疯狂 fork 或 mmap 的问题strace -f -e trace=%memory,%process -p $PID其他深挖工具:每个一段,够用为止
docker top:容器进程在宿主机上的全貌
docker top myapp aux它列出容器内所有进程在宿主机视角下的 Pid、CPU、内存占用。容器里 ps 看不到宿主机 Pid,这里一清二楚,多进程容器(主进程加 sidecar)排障时先用它摸清进程构成。
/proc//status 与 limits:状态与真实限额
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 线程数、内存峰值、进程状态(R/S/D 哪个字母很关键)grep -E 'State|Threads|VmRSS' /proc/$PID/status
# 进程真实生效的资源限制(打开文件数、进程数上限都在这)cat /proc/$PID/limitsState 是 D(不可中断睡眠)要特别留意,通常意味着卡在 I/O 上,多半是存储或网络文件系统出了问题。limits 里的 Max open files 则是排查「too many open files」时最权威的数字,比任何配置文件都准。
cgroup v2 文件:看限额与实际用量
Compose 里写了 mem_limit、CPU 配额,到底生效没有、用了多少,去 cgroup 文件系统里看原始数据:
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 找到进程所在的 cgroup 路径cat /proc/$PID/cgroup
# 路径形如 0::/system.slice/docker-<容器ID>.scope,拼出目录后查看CG=/sys/fs/cgroup/system.slice/docker-$(docker inspect -f '{{.Id}}' myapp).scopecat $CG/memory.max # 内存上限(max 表示不限)cat $CG/memory.current # 当前实际用量cat $CG/memory.events # 重点看 oom_kill 计数:大于 0 就是被 OOM 杀过cat $CG/cpu.stat # 看 nr_throttled:被 CPU 限流的次数memory.events 里的 oom_kill 和 cpu.stat 里的 nr_throttled、throttled_usec 是两个黄金指标:容器「莫名重启」先看前者,容器「莫名变卡」先看后者,不用猜。
ss:在容器的网络空间里查监听
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 容器里到底哪些端口在监听、被哪个进程占着nsenter -t $PID -n ss -tlnp
# 已建立的连接全景:连了谁、状态如何nsenter -t $PID -n ss -tnp state established应用自称监听 8080、ss 里却只有 8000——这种配置与现实不一致的情况,ss 一眼就能戳穿,比翻日志快得多。
完整排障剧本:一个 502 的全程定位
把上面的工具串起来,走一遍真实场景:Nginx 反向代理返回 502,怀疑后端容器有问题,但后端镜像是 distroless,没有 shell。
第一步:确认后端容器进程还活着、状态如何。
docker ps --filter name=backenddocker inspect -f '{{.State.Status}} {{.State.Pid}}' backend# 输出:running 12847 —— 进程在,但活着不等于在干活第二步:看它有没有在监听该监听的端口。
nsenter -t 12847 -n ss -tlnp# 输出里只有 :::8000,没有预期的 8080 —— 第一个疑点出现第三步:确认应用实际吃的配置是什么。
tr '\0' '\n' < /proc/12847/environ | grep -i port# 输出:APP_PORT=8000 —— 配置注入的是 8000,而反代按 8080 转发第四步(如果端口对得上,就继续往深挖):看进程卡在哪。
strace -f -tt -T -p 12847 2>&1 | head -50# 若满屏 connect 超时或 futex 等待,按前面实战例的读法判断断点第五步:交叉验证网络通路。
# 从反代容器的网络空间出发,连后端地址验证整条链路RPID=$(docker inspect -f '{{.State.Pid}}' nginx-proxy)nsenter -t $RPID -n curl -v --connect-timeout 3 http://172.18.0.3:8000/health这个剧本的价值不在某一条命令,而在顺序:先确认进程、再确认监听、再确认配置、最后才深挖行为,每一层排除掉一类问题,不跳步、不猜测。本例的结论是端口配置不一致——改反代目标端口或改注入变量,二选一,重启生效,502 消失。全程没有进过容器内部一次。
排障速查:症状到工具的映射
| 症状 | 第一手工具 | 看什么 |
|---|---|---|
| exec 进不去、镜像没 shell | docker inspect + nsenter | 用宿主机工具进各命名空间 |
| 进程活着但不响应 | strace -p | 卡在 connect、futex 还是 read |
| 容器莫名重启 | cgroup memory.events | oom_kill 是否大于 0 |
| 容器莫名变卡 | cgroup cpu.stat | nr_throttled 是否在涨 |
| 端口连不上 | nsenter -n ss -tlnp | 到底监听了哪个端口 |
| 不知道请求到没到容器 | nsenter -n tcpdump | 有没有 SYN 进来 |
| 怀疑配置没生效 | /proc/<pid>/environ、/proc/<pid>/mounts | 进程真实吃到的变量与挂载 |
| 文件读写报错 | strace -e trace=%file | ENOENT 还是 EACCES、具体哪个路径 |
WARNING排障时最容易犯的错,是在没留证据的情况下先重启容器「试试看」。进程一重启,
strace现场、连接状态、cgroup 计数全部清零,问题可能一周后原样复发。正确顺序永远是:先取证,再处置。
安全与权限提醒
这套手法威力大,边界也要清楚:
- 全部操作需要宿主机 root。能
nsenter进任意容器的网络空间,就等于能截获这台机器上所有容器的流量; strace能看到进程读写的一切数据,包括正在处理的密钥和请求内容,输出日志不要随手外发;- 只在自己有完全控制权的机器上使用。公司共享宿主机、客户的机器上,先走授权流程;
- 抓包文件
.pcap里可能含明文凭据,排障结束及时删除,别留在/tmp里过夜。
小结
这一篇的核心其实只有一句话:容器在宿主机上就是普通进程,宿主机排障的全部工具都适用。具体落到操作上,记住这条链就够了——docker inspect 取 Pid 是钥匙,nsenter 按需借视图(网络问题进 -n、文件问题看 /proc/<pid>/root),strace 看行为(connect 看网络、openat 看文件、futex 看锁),cgroup 文件看限额的真实账目。把「先取证、再处置、先外围、后深挖」的顺序养成习惯,distroless 和 scratch 镜像就不再是排障的黑盒,而是少了一层干扰的透明现场。