4836 字
24 分钟
容器排障深挖:nsenter 与 strace
2026-11-15

容器排障深挖:nsenter 与 strace#

容器进程突然不响应了,你敲下 docker exec,结果只有一行报错:镜像里根本没有 shell。精简镜像、distroless 镜像、scratch 镜像在生产环境越来越常见,它们把攻击面和体积都压到了最小,代价是排障时你连 ls、ps、curl 都没有。更麻烦的是,很多问题压根不在容器「里面」——进程卡死在某个系统调用上、网络命名空间里的路由不对、cgroup 限额早就顶满了,这些在容器内部用常规命令根本看不见。

这一篇讲的是一套不依赖容器内部工具的深挖手法,全部从宿主机侧下手:

  • 用 docker inspect 拿到容器主进程在宿主机上的真实 Pid;
  • 用 nsenter 钻进容器的网络、挂载、进程等命名空间,借宿主机的工具排查;
  • 用 strace 直接跟踪进程的系统调用,看它到底卡在哪一行;
  • 用 tcpdump 在容器的网络命名空间里抓包,确认流量到底通没通。

基础的命令速查和常规排障链路,可以先看《Docker 常用命令速查与排障实战》:/posts/docker-commands-troubleshooting/ 。这一篇是它的进阶篇,处理的是常规命令失效之后的疑难杂症。

为什么需要这套手法#

先把场景说清楚。日常排障里最顺手的路径是 docker exec -it <容器> sh,进容器里慢慢看。但这条路在下面几种情况下直接断掉:

场景为什么 exec 进不去或没用
distroless 镜像(如 gcr.io/distroless 系列)只有应用本体和运行时,没有 shell、没有 coreutils
scratch 镜像(Go 静态编译常见)镜像里只有一个二进制文件,连 libc 都没有
容器主进程已卡死exec 需要在容器里 fork 新进程,进程空间异常时直接超时
生产环境规范严格不允许往容器里临时装工具、不允许改镜像,排障不能动现场
问题在命名空间层面容器内工具看到的视图本身就是「案发现场」,需要从宿主机侧交叉验证

还有一个更根本的原因:容器不是虚拟机,它在宿主机上就是一组被命名空间和 cgroup 包起来的普通进程。既然是普通进程,宿主机上针对普通进程的全部武器——nsenter、strace、/proc 文件系统——就全都能用,而且视角更高、信息更全。这套手法的本质,就是跳出容器给你的那一小块视图,回到宿主机层面看全局。

WARNING

这套手法全部需要宿主机 root 权限,且只能用在你自己有完全控制权的机器上。nsenter 和 strace 能看到进程的全部内存视图、网络流量和文件访问,给别人机器上的容器用属于越权操作,别碰。

原理速通:容器进程在宿主机上长什么样#

动手之前,先建立一个正确的 mental model,后面所有命令都是它的推论。

Linux 用命名空间(namespace)给进程做视图隔离。同一个进程,在容器里看自己是 1 号进程、网卡只有 eth0、根目录是镜像那一层;在宿主机上看,它有一个真实的 Pid(比如 12847)、真实的网络在宿主机的网络栈里、真实的文件落在 overlay2 的目录里。隔离的维度一共有七类,本篇用得上的是前四个:

命名空间隔离内容排障时的意义
mount(mnt)挂载点与文件系统视图决定进程看到的根目录和挂载卷
net网卡、路由、iptables、端口决定进程的网络连通性
pid进程编号与进程树视图决定 ps 能看到哪些进程
uts主机名与域名决定 hostname 的输出
ipc进程间通信(信号量、共享内存)少数中间件排障会用到
user用户与组 ID 映射rootless 场景相关
cgroupcgroup 视图影响进程读到的限额信息

找到容器主进程的真实 Pid 是第一步,命令固定:

Terminal window
# 取容器主进程在宿主机上的 Pid
docker inspect -f '{{.State.Pid}}' myapp
# 输出示例
12847

拿到这个 Pid 之后,宿主机上立刻多出三个信息入口:

Terminal window
# 1. 进程的完整状态都在这个目录里
ls /proc/12847/
# 2. 进程眼里的根目录,就是这个符号链接指向的位置
ls -l /proc/12847/root
# 3. 进程所属的每个命名空间,都是一个可进入的句柄
ls -l /proc/12847/ns/

/proc/<pid>/ns/ 目录下每个文件都对应一个命名空间,nsenter 做的事情,本质上就是调用 setns() 系统调用把自己「塞进」这些命名空间里。理解了这一点,下面所有操作都不需要死记硬背。

nsenter 全套:借宿主机的工具进容器的空间#

nsenter 属于 util-linux 包,绝大多数发行版默认自带。先确认一下:

Terminal window
which nsenter || apt-get install -y util-linux

参数对照表#

nsenter 的核心参数就两个:-t 指定目标进程 Pid,后面跟的字母决定进哪个命名空间。

参数进入的命名空间典型用途
-mmount(挂载)看容器眼里的文件系统、挂载卷
-nnet(网络)查网卡、路由、监听端口、抓包
-ppid(进程)配合 -m 看容器内的进程树
-uuts看/改容器眼里的主机名,极少用
-iipc查共享内存、信号量,偶尔用
-Uuserrootless 容器排障时配合用
-a全部一次性进入所有命名空间
无字母,仅 -t不进任何空间只以目标进程为锚点运行命令(配合读 /proc 用)

进网络命名空间:排查连通性#

这是最高频的用法。目标:在容器的网络视图里,用宿主机上现成的 ip、ss、curl 干活。

Terminal window
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 进入容器的网络命名空间,后续命令都在容器的网络视图里执行
nsenter -t $PID -n ip addr
nsenter -t $PID -n ip route
nsenter -t $PID -n ss -tlnp

几个关键检查点,按顺序看:

Terminal window
# 容器自己的 IP 和网卡状态(UP 还是 DOWN)
nsenter -t $PID -n ip -br addr
# 默认网关在不在、指向对不对
nsenter -t $PID -n ip route show default
# 从容器视角直连网关和外部目标
nsenter -t $PID -n ping -c 2 172.17.0.1
nsenter -t $PID -n curl -v --connect-timeout 3 http://172.17.0.5:3306

注意最后一个细节:在网络命名空间里用宿主机的 curl 去连数据库端口,验证的是「容器网络视角下这条路通不通」,而 curl 二进制本身来自宿主机文件系统——因为我们只进了 net 空间,没进 mount 空间,文件系统用的还是宿主机的。这正是 nsenter 的精妙之处:每个命名空间可以单独进,只借需要的那个视图,其余全用宿主机的环境和工具。

进挂载与进程空间:看容器眼里的世界#

想完整复现容器内部的视图,用 -m -p 组合,再 chroot 到进程的根目录:

Terminal window
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 进入挂载+进程+网络空间,并切换根目录到容器的根
nsenter -t $PID -m -p -n chroot /proc/$PID/root /bin/sh
WARNING

这条命令对 scratch 镜像同样无效——容器根目录里没有 /bin/sh,chroot 进去也没有 shell 可跑。它的价值在于 distroless 之外、镜像里有 shell 但 docker exec 通道坏了的场合。scratch 镜像请直接用后面的 /proc/<pid>/root 静态查看法。

只看文件、不需要交互时,更轻量的办法是直接读目录,后面备选手法一节会展开。

在容器的网络空间里抓包#

判断「请求到底有没有到达容器」「容器发出去了没有」,抓包是最硬的证据:

Terminal window
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 在容器网络命名空间里抓 eth0 的包,只看 8080 端口
nsenter -t $PID -n tcpdump -i eth0 -nn port 8080
# 抓下来存文件,拿回宿主机用 Wireshark 慢慢看
nsenter -t $PID -n tcpdump -i eth0 -nn -w /tmp/app.pcap port 8080

读抓包结果时盯住三件事:有没有 SYN 进来(请求是否到达)、有没有 SYN-ACK 回去(应用是否在监听并响应)、握手之后有没有立刻 RST(应用层主动拒绝还是防火墙拦截)。这三点能把「网络不通」这个笼统结论拆成具体的断点位置。

没有 nsenter 时的备选手法:/proc 大法#

老系统、精简宿主机上可能没有 nsenter,或者版本太旧缺参数。这时 /proc 文件系统就是备选通道,下面三招不需要任何额外工具:

Terminal window
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 招式一:直接浏览容器眼里的整个文件系统(只读查看足够排障)
ls /proc/$PID/root/etc/
cat /proc/$PID/root/etc/resolv.conf
# 招式二:看进程的挂载表,确认卷挂对了没有
cat /proc/$PID/mounts
# 招式三:看进程实际加载的环境变量(排查配置注入失败极好用)
tr '\0' '\n' < /proc/$PID/environ

其中招式三特别值得记住:容器启动后改了 Compose 文件但没重建、或者 --env-file 没生效时,/proc/<pid>/environ 里是进程真正吃到的环境变量,一个字都做不了假。

还有一招是看命名空间本身的归属关系,判断两个容器是否在同一网络空间(比如 sidecar 模式):

Terminal window
# 比较两个进程的 net 命名空间 inode,一样就是共享网络
ls -l /proc/12847/ns/net /proc/13502/ns/net

strace 入门:看进程到底卡在哪一行#

nsenter 解决的是「视图」问题,strace 解决的是「行为」问题:进程不响应、不报错、不退出,它到底在等什么?strace 把进程发出的每一个系统调用都打印出来,这是 Linux 排障里最接近「读心术」的工具。

基本姿势:附加到运行中的进程#

Terminal window
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 附加跟踪,按 Ctrl+C 停止(只是停止跟踪,不影响目标进程)
strace -p $PID
# 带时间戳和调用耗时,输出更易读
strace -tt -T -p $PID
WARNING

strace 附加到生产进程会让它明显变慢——每个系统调用都要被拦截两次。高并发进程上不要长时间挂着 strace,看清卡点就立刻撤;更不要在流量高峰对核心交易进程使用。

几个必备参数:

参数作用
-p <pid>附加到已运行进程
-f跟踪子进程与线程(多线程程序必加)
-tt每行打印微秒级时间戳
-T每行末尾打印该调用的耗时
-e trace=network只看网络类调用
-e trace=file只看文件类调用
-e trace=%file同上(新版写法)
-o file.log输出写文件,避免刷屏
-s 200字符串打印长度上限,默认 32 太短

实战例一:卡在 connect,连不上数据库#

进程假死,strace -p 挂上去,满屏重复同一行:

connect(7, {sa_family=AF_INET, sin_port=htons(3306), sin_addr=inet_addr("172.17.0.5")}, 16) = -1 EINPROGRESS (Operation now in progress)
poll([{fd=7, events=POLLOUT}], 1, 5000) = 0 (Timeout)
close(7) = 0
socket(AF_INET, SOCK_STREAM, IPPROTO_IP) = 7
connect(7, {sa_family=AF_INET, sin_port=htons(3306), sin_addr=inet_addr("172.17.0.5")}, 16) = -1 EINPROGRESS

读法:进程在不停地新建连接、等 5 秒超时、关掉重来。结论非常明确——不是应用逻辑死锁,是目标 172.17.0.5 的 3306 端口根本连不上,应用在无限重试。下一步就该去查数据库容器是不是挂了、网络通不通(正好接回 nsenter -n 那一套),而不是去翻应用代码。

实战例二:反复 open 一个不存在的文件#

openat(AT_FDCWD, "/app/config/prod.yaml", O_RDONLY) = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "/app/config/prod.yaml", O_RDONLY) = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "/app/config/prod.yaml", O_RDONLY) = -1 ENOENT (No such file or directory)

返回值 -1 ENOENT 就是文件不存在。进程在循环重试读同一个路径,说明挂载或配置注入出了问题:卷没挂上、路径拼错、或者环境变量指错了环境。配合前面的 cat /proc/<pid>/mounts 和 ls /proc/<pid>/root/app/config/ 两条命令,五分钟内就能锁定到底是没挂还是挂错了。

常见返回值速查:

返回值含义常见原因
ENOENT文件/路径不存在挂载缺失、路径写错
EACCES权限不足文件属主、只读挂载、能力限制
ECONNREFUSED连接被拒绝对端端口没监听
ETIMEDOUT连接超时防火墙丢包、路由不通
EAGAIN资源暂时不可用非阻塞调用没就绪,常与 poll 配合出现

实战例三:futex 满屏,进程在等锁#

futex(0x7f8c4c0a3d80, FUTEX_WAIT_BITSET_PRIVATE|FUTEX_CLOCK_REALTIME, 0, NULL, FUTEX_BITSET_MATCH_ANY) = -1 ETIMEDOUT (Connection timed out)
futex(0x7f8c4c0a3d80, FUTEX_WAIT_BITSET_PRIVATE|FUTEX_CLOCK_REALTIME, 0, NULL, FUTEX_BITSET_MATCH_ANY) = -1 ETIMEDOUT

futex 是线程同步的底层机制。满屏 FUTEX_WAIT 且没有其他调用,说明线程在等一把锁或一个条件变量——这是应用层死锁或线程池耗尽的典型特征,宿主机侧能做的到此为止,结论是「带上线程栈快照回去查代码」,而不是继续在系统层打转。判断「问题在系统层还是应用层」,本身就是 strace 最重要的产出之一。

只看某一类调用:按类别过滤#

全量输出太吵时,用 -e trace= 只盯一类:

Terminal window
# 只看网络:进程在跟谁通信、连得上连不上
strace -f -e trace=network -p $PID
# 只看文件:进程在读哪些配置、写哪些路径
strace -f -e trace=%file -p $PID
# 只看内存与进程控制:排查疯狂 fork 或 mmap 的问题
strace -f -e trace=%memory,%process -p $PID

其他深挖工具:每个一段,够用为止#

docker top:容器进程在宿主机上的全貌#

Terminal window
docker top myapp aux

它列出容器内所有进程在宿主机视角下的 Pid、CPU、内存占用。容器里 ps 看不到宿主机 Pid,这里一清二楚,多进程容器(主进程加 sidecar)排障时先用它摸清进程构成。

/proc//status 与 limits:状态与真实限额#

Terminal window
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 线程数、内存峰值、进程状态(R/S/D 哪个字母很关键)
grep -E 'State|Threads|VmRSS' /proc/$PID/status
# 进程真实生效的资源限制(打开文件数、进程数上限都在这)
cat /proc/$PID/limits

State 是 D(不可中断睡眠)要特别留意,通常意味着卡在 I/O 上,多半是存储或网络文件系统出了问题。limits 里的 Max open files 则是排查「too many open files」时最权威的数字,比任何配置文件都准。

cgroup v2 文件:看限额与实际用量#

Compose 里写了 mem_limit、CPU 配额,到底生效没有、用了多少,去 cgroup 文件系统里看原始数据:

Terminal window
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 找到进程所在的 cgroup 路径
cat /proc/$PID/cgroup
# 路径形如 0::/system.slice/docker-<容器ID>.scope,拼出目录后查看
CG=/sys/fs/cgroup/system.slice/docker-$(docker inspect -f '{{.Id}}' myapp).scope
cat $CG/memory.max # 内存上限(max 表示不限)
cat $CG/memory.current # 当前实际用量
cat $CG/memory.events # 重点看 oom_kill 计数:大于 0 就是被 OOM 杀过
cat $CG/cpu.stat # 看 nr_throttled:被 CPU 限流的次数

memory.events 里的 oom_kill 和 cpu.stat 里的 nr_throttled、throttled_usec 是两个黄金指标:容器「莫名重启」先看前者,容器「莫名变卡」先看后者,不用猜。

ss:在容器的网络空间里查监听#

Terminal window
PID=$(docker inspect -f '{{.State.Pid}}' myapp)
# 容器里到底哪些端口在监听、被哪个进程占着
nsenter -t $PID -n ss -tlnp
# 已建立的连接全景:连了谁、状态如何
nsenter -t $PID -n ss -tnp state established

应用自称监听 8080、ss 里却只有 8000——这种配置与现实不一致的情况,ss 一眼就能戳穿,比翻日志快得多。

完整排障剧本:一个 502 的全程定位#

把上面的工具串起来,走一遍真实场景:Nginx 反向代理返回 502,怀疑后端容器有问题,但后端镜像是 distroless,没有 shell。

第一步:确认后端容器进程还活着、状态如何。

Terminal window
docker ps --filter name=backend
docker inspect -f '{{.State.Status}} {{.State.Pid}}' backend
# 输出:running 12847 —— 进程在,但活着不等于在干活

第二步:看它有没有在监听该监听的端口。

Terminal window
nsenter -t 12847 -n ss -tlnp
# 输出里只有 :::8000,没有预期的 8080 —— 第一个疑点出现

第三步:确认应用实际吃的配置是什么。

Terminal window
tr '\0' '\n' < /proc/12847/environ | grep -i port
# 输出:APP_PORT=8000 —— 配置注入的是 8000,而反代按 8080 转发

第四步(如果端口对得上,就继续往深挖):看进程卡在哪。

Terminal window
strace -f -tt -T -p 12847 2>&1 | head -50
# 若满屏 connect 超时或 futex 等待,按前面实战例的读法判断断点

第五步:交叉验证网络通路。

Terminal window
# 从反代容器的网络空间出发,连后端地址验证整条链路
RPID=$(docker inspect -f '{{.State.Pid}}' nginx-proxy)
nsenter -t $RPID -n curl -v --connect-timeout 3 http://172.18.0.3:8000/health

这个剧本的价值不在某一条命令,而在顺序:先确认进程、再确认监听、再确认配置、最后才深挖行为,每一层排除掉一类问题,不跳步、不猜测。本例的结论是端口配置不一致——改反代目标端口或改注入变量,二选一,重启生效,502 消失。全程没有进过容器内部一次。

排障速查:症状到工具的映射#

症状第一手工具看什么
exec 进不去、镜像没 shelldocker inspect + nsenter用宿主机工具进各命名空间
进程活着但不响应strace -p卡在 connect、futex 还是 read
容器莫名重启cgroup memory.eventsoom_kill 是否大于 0
容器莫名变卡cgroup cpu.statnr_throttled 是否在涨
端口连不上nsenter -n ss -tlnp到底监听了哪个端口
不知道请求到没到容器nsenter -n tcpdump有没有 SYN 进来
怀疑配置没生效/proc/<pid>/environ、/proc/<pid>/mounts进程真实吃到的变量与挂载
文件读写报错strace -e trace=%fileENOENT 还是 EACCES、具体哪个路径
WARNING

排障时最容易犯的错,是在没留证据的情况下先重启容器「试试看」。进程一重启,strace 现场、连接状态、cgroup 计数全部清零,问题可能一周后原样复发。正确顺序永远是:先取证,再处置。

安全与权限提醒#

这套手法威力大,边界也要清楚:

  • 全部操作需要宿主机 root。能 nsenter 进任意容器的网络空间,就等于能截获这台机器上所有容器的流量;
  • strace 能看到进程读写的一切数据,包括正在处理的密钥和请求内容,输出日志不要随手外发;
  • 只在自己有完全控制权的机器上使用。公司共享宿主机、客户的机器上,先走授权流程;
  • 抓包文件 .pcap 里可能含明文凭据,排障结束及时删除,别留在 /tmp 里过夜。

小结#

这一篇的核心其实只有一句话:容器在宿主机上就是普通进程,宿主机排障的全部工具都适用。具体落到操作上,记住这条链就够了——docker inspect 取 Pid 是钥匙,nsenter 按需借视图(网络问题进 -n、文件问题看 /proc/<pid>/root),strace 看行为(connect 看网络、openat 看文件、futex 看锁),cgroup 文件看限额的真实账目。把「先取证、再处置、先外围、后深挖」的顺序养成习惯,distroless 和 scratch 镜像就不再是排障的黑盒,而是少了一层干扰的透明现场。

容器排障深挖:nsenter 与 strace
https://www.anexns.cloudns.org/posts/docker-deep-troubleshooting/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0