日志说请求发出去了,ss 显示连接卡在 SYN-SENT,对端运维却说”我们这边什么都没收到”。这种各执一词的局面,靠猜是猜不出结果的——到底是包没发出去、发出去了对端没回、还是回了被本机扔掉,只有把网卡上真实流过的包抓下来看一眼才算数。这就是 tcpdump 的位置:它不推测、不美化,只把经过网卡的每一个包原样摊给你看。
本篇是 Linux 系列的第 20 篇,也是网络排障链条的最后一环。上一篇 网络命令与排障 讲了怎么用 ip、ss、curl、dig 一层层缩小范围;当那些工具给出的结论互相矛盾时,就轮到抓包来一锤定音。本篇主线是:先讲清抓包能回答什么问题,再过最小命令与输出解读,然后是过滤表达式这套核心语法,最后落到抓 DNS、抓 TCP 握手两个实战,以及把包存成文件拖回本地细看的工作流。
先立一条规矩:抓包之前先想清楚你要验证哪个假设。是想确认请求包到底发没发出?还是确认对端回没回?还是确认回来的是 RST 还是正常响应?没有假设地在生产机上漫无目的抓一把,得到的只会是几万行看不懂的输出,外加一个迅速膨胀的抓包文件。
一、定位:抓包到底能看什么
先把 tcpdump 能回答的问题和不能回答的问题分清,免得用错地方。
日志是应用自己写的,它只能证明”应用以为自己发了请求”;ss 显示的是内核维护的连接状态,它能告诉你连接停在哪一步,却说不清那一步的包在网线上是什么样。抓包看的是网卡收发的原始帧,它能回答的是这类问题:
- SYN 包到底有没有从本机发出去,发给了哪个 IP、哪个端口
- 对端有没有回包,回的是 SYN+ACK 还是 RST
- DNS 查询到底问的是哪个服务器,对方答的又是什么
- 一个请求发出去之后,隔了多久才收到回应——是网络慢,还是对端处理慢
- 重传多不多,连接是不是在反复丢包中挣扎
它不能回答的问题也很明确:包的内容如果是加密的,它看不见(第八节细说);对端机器内部发生了什么,它也看不见——它只能证明”包到没到网线这一层”。所以抓包的正确用法是配合假设做验证:先用上一篇的方法把问题缩到”怀疑包根本没到对端”,再抓包确认,而不是一上来就抓。
二、准备:安装、权限与选网卡
tcpdump 在大多数发行版里可以直接装:
sudo apt install tcpdump # Debian / Ubuntusudo dnf install tcpdump # RHEL 系tcpdump --version # 确认装好抓包要读网卡的原始流量,所以必须用 root 权限跑,普通用户执行会直接报权限错误,这不是故障,是设计如此:
sudo tcpdump -i eth0选网卡是第一个容易踩的点。先列出所有可抓的接口:
sudo tcpdump -D输出类似 1.eth0、2.lo、3.any。几个接口的区别要分清:
| 接口 | 抓什么 | 适用场景 |
|---|---|---|
eth0 等具体网卡 | 只抓这块网卡进出的包 | 已确定流量走哪块网卡时,最干净 |
lo | 本机回环流量(127.0.0.1 互访) | 服务调本机另一个服务时 |
any | 所有网卡的包一起抓 | 不确定流量走哪块网卡时先用它定位 |
新手建议先从 -i any 入手,确认流量在哪块网卡上之后,再换到具体网卡抓一份干净的。但要注意 any 抓到的包在链路层信息上和真实网卡略有差别,做精细分析时以具体网卡为准。
三、最小命令与输出解读
先跑一条最小命令,只抓 4 个包就停:
sudo tcpdump -i any -nn -c 4不加任何过滤时,它会把所有包都打出来,屏幕滚动极快,-c 4 限量是必需的。一行典型输出长这样:
14:03:21.482913 IP 192.168.1.10.52314 > 203.0.113.25.443: Flags [S], seq 3811223841, length 0逐段拆开读,这是后面所有分析的基础:
| 字段 | 示例 | 含义 |
|---|---|---|
| 时间戳 | 14:03:21.482913 | 包经过网卡的时刻,精确到微秒,比对时序全靠它 |
| 协议 | IP | 网络层协议,IPv6 时显示 IP6 |
| 源地址.端口 | 192.168.1.10.52314 | 谁发的;点号后面是源端口 |
| 目的地址.端口 | 203.0.113.25.443 | 发给谁;> 的方向就是包的方向 |
| 标志位 | Flags [S] | TCP 标志,握手分析全看它,下一节详解 |
| 序号 | seq 3811223841 | TCP 序列号,看重传与丢包时用 |
| 长度 | length 0 | 这个包带的数据长度,0 表示纯控制包(如握手包) |
标志位是读 TCP 包的核心,先把字母对照记住:
| 标志 | 含义 | 什么时候出现 |
|---|---|---|
S | SYN,发起连接 | 三次握手的第一步 |
S. | SYN+ACK(. 代表 ACK) | 握手的第二步,对端同意 |
. | ACK,纯确认 | 握手第三步,以及连接中的确认包 |
P. | PSH+ACK,带数据推送 | 真正传数据的包 |
F. | FIN+ACK,请求关闭 | 正常断开连接时 |
R. | RST,强制断开 | 对端拒绝或异常终止,排障时高度警惕 |
四、过滤表达式:抓包的真正门槛
不加过滤的抓包在生产机上等于大海捞针。tcpdump 的过滤表达式(BPF 语法)才是它真正的核心技能,学会组合这几个原语,绝大多数场景都够用。
基本原语:
host 203.0.113.25 # 源或目的 IP 是它(双向)src host 192.168.1.10 # 只看源是它的dst host 203.0.113.25 # 只看目的是它的port 53 # 源或目的端口是 53(双向)dst port 443 # 只看目的端口 443portrange 8000-9000 # 端口范围tcp # 只看 TCPudp # 只看 UDPicmp # 只看 ICMP(ping 的包)net 203.0.113.0/24 # 整个网段组合靠 and、or、not(也可以写 &&、||、!),复杂组合加括号。注意表达式里带空格和括号时,整条表达式要用引号包住,免得被 Shell 拆开:
# 只看本机与某台服务器之间的 HTTPS 流量sudo tcpdump -i any -nn 'host 203.0.113.25 and port 443'
# 排除自己的 SSH 会话,否则抓包输出会把 SSH 流量也灌进来sudo tcpdump -i any -nn 'not port 22'
# 看某台主机除 22 以外的全部 TCPsudo tcpdump -i any -nn 'host 203.0.113.25 and tcp and not port 22'常用组合速查:
| 想看什么 | 过滤表达式 |
|---|---|
| 与某主机的全部往来 | host 203.0.113.25 |
| 某主机的 DNS 查询 | host 203.0.113.53 and port 53 |
| 某服务的入站请求 | dst port 80 |
| 某客户端访问某服务 | src host 192.168.1.10 and dst port 443 |
| 只看握手与断开(无数据包) | tcp[tcpflags] & (tcp-syn|tcp-fin|tcp-rst) != 0 |
| 排除 SSH 与监控噪声 | not port 22 and not port 10050 |
最后一条按标志位过滤的写法属于进阶语法,不必背,知道有这回事、需要时查出来用即可。日常排障里 host + port + 协议 三件套的组合,已经能覆盖九成场景。
五、输出控制:让结果可读
过滤解决了”抓哪些”,输出参数解决”怎么看”。几个高频参数:
| 参数 | 作用 | 说明 |
|---|---|---|
-nn | 不解析 | 主机名和端口名都不做反查,直接显示 IP 和端口数字;不加的话 tcpdump 会去反查 DNS,又慢又干扰,排障时必加 |
-v / -vv / -vvv | 详细程度递增 | 多打 TTL、校验和、TCP 选项等细节,按需开 |
-c N | 限量 | 抓满 N 个包自动停,防止跑飞 |
-A | ASCII 显示内容 | 把包内数据按文本打出来,看 HTTP 这类明文协议用 |
-X | 十六进制+ASCII 并排 | 看二进制协议时用,日常较少 |
-l | 行缓冲 | 输出重定向到文件或管道时实时刷出 |
--time-stamp-precision=nano | 纳秒时间戳 | 做精细时序分析时才需要 |
一个实用的日常组合是:
sudo tcpdump -i any -nn -c 100 'host 203.0.113.25 and port 443'先限定一百个包看看形态,确认过滤写对了,再决定要不要放开了抓或者存文件。
六、实战一:抓 DNS,看解析到底问了谁
场景:服务器上某域名解析结果不对,或者解析时快时慢。上一篇用 dig 能看到”问某个服务器得到什么答案”,抓包则能看到应用实际发出的查询——应用用的解析服务器、查询有没有发出、回应到底回没回,一清二楚。
sudo tcpdump -i any -nn port 53然后在另一个终端触发一次解析(ping 一个域名或 dig example.com),抓包窗口会出现成对的输出:
14:05:01.102233 IP 192.168.1.10.53122 > 192.168.1.1.53: 40231+ A? example.com. (29)14:05:01.109845 IP 192.168.1.1.53 > 192.168.1.10.53122: 40231 1/0/0 A 203.0.113.80 (45)读法:第一行是本机向 192.168.1.1 的 53 端口发出查询,A? 表示问 A 记录,后面的数字是查询 ID;第二行是对方的回应,同一个 ID,1/0/0 表示 1 条答案记录,答案是 203.0.113.80。两行时间戳相减,约 7 毫秒,就是这次解析的真实耗时。
三种典型结论一眼可辨:
- 只有查询没有回应:包发出去了,对方没答。要么上游 DNS 服务器有问题,要么中间防火墙把回包拦了——问题不在本机应用。
- 查询发往的服务器和你以为的不一样:比如你以为系统用的是公共 DNS,包却发给了路由器地址,说明
/etc/resolv.conf或应用自带的解析配置和你的认知不一致。 - 回应里答案和预期不同:解析链路本身没毛病,是权威数据或缓存的问题,换方向去查记录本身。
WARNING抓 DNS 时如果看到查询根本没有发出,先别怀疑网络——更常见的是应用走了自己的缓存,或者用了 DoH(加密 DNS)压根不走 53 端口。抓不到 53 端口的包,不等于没有发生解析。
七、实战二:抓 TCP 握手,看连接卡在哪一步
场景:客户端连某服务超时,ss 里看到一堆 SYN-SENT。到底是请求没发出去,还是对端不理?抓发起端的包:
sudo tcpdump -i any -nn 'host 203.0.113.25 and port 443'然后触发一次连接(curl https://203.0.113.25/ 或让应用重试一次)。健康的握手是三行:
14:07:11.001 IP 192.168.1.10.52400 > 203.0.113.25.443: Flags [S], seq 1000, length 014:07:11.038 IP 203.0.113.25.443 > 192.168.1.10.52400: Flags [S.], seq 5000, ack 1001, length 014:07:11.038 IP 192.168.1.10.52400 > 203.0.113.25.443: Flags [.], ack 5001, length 0S 出去、S. 回来、. 确认,连接建立,之后才是 P. 的数据包。对照异常形态看,结论非常硬:
| 抓到的形态 | 结论 |
|---|---|
只有一串 S,间隔越来越长地重复,没有任何回包 | SYN 发出去了但石沉大海:对端不可达、中间被防火墙静默丢弃,或回程路由不通。本机应用没问题 |
S 出去,立刻回来一个 R. | 对端主机在,但那个端口没人监听(或被防火墙以拒绝方式拦截)。去查对端服务起没起、端口对不对 |
S. 正常回来,但本机没发第三步 . | 极少见,多半是本机防火墙规则把入站回包拦了,查本机 iptables/nftables |
| 握手正常,数据包阶段大量重传 | 连接能建但质量差,丢包或 MTU 问题,换方向查链路质量 |
注意第一种形态里 SYN 会重复出现,那是 TCP 的重传机制在按指数退避重试——这恰恰证明本机一直在努力发,锅不在应用层。把这三行(或这一串)截图发给对端运维,比十句”我们这边发出去了”都有说服力。
八、HTTPS 的边界:加密流量能看什么
必须先泼一盆冷水:HTTPS 的内容是加密的,tcpdump 抓到也看不见明文,谁要是说能直接抓出 HTTPS 里的请求内容,那是另一套需要私钥或中间人的玩法,不在入门范围。
但”看不见内容”不等于”没用”。TLS 流量能看的元信息仍然很多:
- 连接建没建起来(握手包在不在、TLS 握手有没有完成)
- 目标 IP 与端口、连接时长、总流量大小
- TLS 握手初期的 ClientHello 里带有 SNI,也就是你访问的域名——这一段在加密开始之前,是明文可见的,用
-A或存包到 Wireshark 里能看到
所以排 HTTPS 的故障,抓包能回答”连没连上、连的谁、卡在握手哪一步”,回答不了”请求参数对不对”。后者要去看应用日志或在服务端侧解决,两者别混淆。
九、存包细看:pcap 与 Wireshark 工作流
终端里刷屏看包只适合快速验证。稍微复杂一点的分析,正确姿势是把包存成 pcap 文件,拖回本地用 Wireshark 慢慢看——有过滤高亮、流量图、追踪单个连接的完整视图,效率完全不是一个量级。
# 抓 200 个包存文件,Ctrl+C 也可随时停sudo tcpdump -i any -nn -c 200 -w /tmp/dns.pcap 'port 53'
# 在服务器上直接读回这个文件sudo tcpdump -r /tmp/dns.pcap -nn
# 拉回本地(在你的电脑上执行)scp user@server:/tmp/dns.pcap ./然后用 Wireshark 打开 dns.pcap,在显示过滤器里用 dns、tcp.port == 443、tcp.flags.reset == 1 这类表达式筛,比在终端里翻屏舒服得多。
长时间抓包要防文件失控,可以按大小轮转:-C 100 表示每个文件 100 MB 换一个,-W 5 表示最多保留 5 个滚动覆盖。两者一起用,磁盘占用就有硬上限:
sudo tcpdump -i eth0 -nn -C 100 -W 5 -w /tmp/cap.pcap 'port 443'WARNING在生产机上不加过滤、不加限量地抓包是最危险的用法:流量大的机器几秒钟就能写出几个 GB 的文件,把磁盘打满,进而把真正的业务拖垮。抓之前先把过滤表达式写窄,再加
-c或-C/-W限量,这两步不能省。
十、纪律与排障
纪律先说清。抓包抓到的是真实业务流量,里面可能有别人的请求内容和敏感数据,所以只抓与当前故障直接相关的流量、只在你有权限分析的机器上抓、分析完及时删掉 pcap 文件。这不是客套,是职业边界。
再说抓包本身的排障——最常见的问题是”我明明抓了,怎么一个包都没有”。按概率排,就三个原因:
- 网卡选错了。流量走
eth1你抓了eth0,或者服务走的是回环你抓了物理网卡。先用-i any验证流量存在,再缩小到具体网卡。 - 流量根本没经过本机。比如你在服务端抓包,但客户端连的是另一台机器;或者流量走了容器网桥、隧道接口,物理网卡上只有加密后的外层包。先确认这台机器在流量路径上,再谈抓包。
- 被自己的过滤表达式排除了。
and写多了条件互相矛盾、IP 写错一位、端口写反了方向,都会让结果为空。排查方法是逐段放宽:先只留host,确认有包,再一段段把条件加回去,加到哪段没包了,哪段就是写错的。
另外两种”抓到了但不对”的情况也提一句:抓到的时间戳和日志对不上,多半是服务器时区或时钟问题,先 timedatectl 确认;抓包里看到大量校验和错误(Wireshark 里会标红),在物理网卡上多半是网卡的 checksum offload 没卸载到抓包路径导致的假象,不是真丢包,别被它带偏。
小结
- tcpdump 的价值是看网线上的真相:包发没发、对端回没回、回的是什么,专治日志与状态互相矛盾的扯皮局
- 抓之前先定假设,抓的时候过滤写窄、数量设限,顺序反了只会淹没在输出里
- 读包先认六个标志位:
S发起、S.同意、.确认、P.数据、F.关闭、R.拒绝,握手三行就能定性大多数连接故障 - DNS 抓包看问答配对与耗时;握手抓包看形态:只有 SYN 是不通,回 RST 是端口没人,握手正常数据重传是链路质量
- HTTPS 只能看元信息(目标、时序、SNI),内容看不见,别在这上面浪费时间
- 复杂分析别硬看终端:
-w存 pcap,拖回 Wireshark 才是正经工作流,轮转参数给文件大小上保险 - 抓不到包先查三件事:网卡选错、流量没经过本机、过滤把自己想要的包排除了