服务器网络一出问题,最常见的场面是:有人说”网站打不开”,然后所有人开始瞎猜——有人重启服务,有人改配置,有人怀疑被攻击,折腾半天,最后发现是 DNS 解析到了一个错的 IP。网络排障最大的忌讳就是跳步:问题明明出在第二层,你却在第七层反复折腾应用,怎么折腾都不会好。
这篇给你一套固定的排查顺序:从链路到应用共七层,每层都有对应的命令和明确的判定标准。以后再遇到”网络不通”,不要先想原因,先想”我现在查到第几层了”。按层往上走,问题必然在某一层现形。
先把核心思路说透:网络排障就是二分定位:先确认本机配置对不对,再确认路通不通,最后确认对方的服务在不在。下面所有命令,都是为这三句话服务的。
分层排查法:七层顺序与命令总表
这套分层不是 OSI 七层模型的照搬,而是按实际排障顺序排的实战版:
| 层 | 查什么 | 主力命令 | 通过标准 |
|---|---|---|---|
| 1 链路 | 网卡有没有起来、IP 配没配上 | ip link、ip addr | 网卡状态 UP,有正确的 IP |
| 2 本机路由 | 出门走哪条路、网关是谁 | ip route | 有默认路由,网关正确 |
| 3 网关 | 能不能到达网关 | ping <网关IP> | 网关有回应 |
| 4 外网 | 能不能到达公网 IP | ping 223.5.5.5 | 公网 IP 有回应 |
| 5 DNS | 域名能不能解析对 | dig、getent hosts | 解析结果正确 |
| 6 端口 | 对方端口通不通 | ss、curl -v、nc | 端口能建立连接 |
| 7 应用 | 服务本身答得对不对 | curl -w、服务日志 | 返回内容与状态码正常 |
排查纪律只有一条:下一层不通时,不要去查上一层。比如域名解析都不对,你去看 Nginx 日志纯属浪费时间;反过来,如果前六层全通、只有应用返回 500,那这根本不是网络问题,去查服务本身。
下面逐层展开。
第一层、第二层:看本机 IP 与路由
ip addr:网卡与 IP
ip addrip -br addr # 简洁版,一块网卡一行重点看三件事:
- 网卡状态是不是
UP。如果是DOWN,先ip link set eth0 up拉起来(网卡名以实际为准,常见 eth0、ens3、enp1s0)。 - 有没有配上预期的 IP。云服务器常见坑是系统重装后网卡名变了、配置文件对不上,导致 IP 根本没配上。
- 有没有意料之外的 IP。一台机器多个 IP 时,源地址选错也会出怪问题。
只关心 IPv4 时可以过滤着看:
ip -4 -br addrip route:出门走哪条路
ip route典型输出:
default via 192.168.1.1 dev eth0 proto dhcp metric 100192.168.1.0/24 dev eth0 proto kernel scope link src 192.168.1.10 metric 100逐项读法:
| 字段 | 含义 |
|---|---|
default via 192.168.1.1 | 默认网关是 192.168.1.1,所有不在本地网段的流量都先交给它 |
dev eth0 | 从 eth0 这块网卡出去 |
192.168.1.0/24 ... src 192.168.1.10 | 本地网段直达,本机源 IP 是 192.168.1.10 |
metric 100 | 优先级,数值越小越优先 |
没有 default 这一行,本机就出不了网段,这是”新机器上不了网”的头号原因。想确认访问某个具体目标到底走哪条路,用:
ip route get 8.8.8.8它会直接告诉你:走哪个网关、从哪块网卡出、源 IP 是谁。排”多网卡谁在干活”的问题时,这条命令一锤定音。
WARNING不要用已经废弃的 ifconfig 和 route 命令查新系统。它们来自 net-tools 包,很多发行版默认已不安装;而且 ifconfig 显示的信息不全(比如辅助 IP 会漏)。统一用 iproute2 的 ip 系列,这也是现在所有文档的口径。netstat 同理,只在老系统救急时提一句,日常查连接一律用 ss。
第三层、第四层:ping 的三段定位法
ping 不是”测通不通”的玩具,用好了它是一把分段定位的尺子。标准动作是连打三段:
ping -c 4 192.168.1.1 # 第一段:网关ping -c 4 223.5.5.5 # 第二段:公网 IP(阿里 DNS)ping -c 4 www.baidu.com # 第三段:域名三段结果的组合直接指向故障层:
| 网关 | 公网 IP | 域名 | 结论 |
|---|---|---|---|
| 不通 | 不通 | 不通 | 本机或局域网问题:网卡、IP、网关配置 |
| 通 | 不通 | 不通 | 网关之外的问题:线路、运营商、上级路由 |
| 通 | 通 | 不通 | DNS 问题,去查第五层 |
| 通 | 通 | 通 | 链路与解析都正常,问题在端口或应用层 |
这里有个必须纠正的执念:ping 不通,不等于服务挂了。大量服务器和防火墙默认禁用 ICMP 回应,云厂商的安全组也常默认不放行 ping。你 ping 不通一台活得好好的服务器,是完全正常的事。ping 只能用作”我方出站”的定位工具;判断对方服务在不在,要用后面讲的端口层方法(curl、nc),不要拿 ping 的结果下结论。
反过来,ping 通了也有信息量:看 time 值。同一网段应该是 1ms 以内,跨城几十毫秒,跨国一两百毫秒。如果延迟突然翻了几倍或者抖动剧烈,说明路径质量出问题了,接下一节的 mtr。
路径质量:traceroute 与 mtr 怎么读
ping 只能告诉你”到终点通不通”,中间经过的十几跳哪一跳在丢包、哪一跳开始变慢,要靠路径工具。
traceroute 223.5.5.5mtr 223.5.5.5 # 交互界面,q 退出mtr -rwc 100 223.5.5.5 # 报告模式:发 100 个包后出统计表mtr 是 traceroute 与 ping 的结合体:它对路径上每一跳持续发包统计。读 mtr 报告抓三点:
- 看最后一跳(目标本身)的丢包率,这才是端到端的真实丢包。中间某一跳显示丢包、但后面几跳都不丢,那是中间路由器对 ICMP 限速,不是故障,别被它带偏。
- 看延迟从哪一跳开始阶梯式抬升。延迟是逐跳累积的,要看相邻两跳的增量:在哪一跳突然多了 100ms,瓶颈大概率就在那一段线路上(比如跨境出口)。
- 间歇性问题要长跑。偶发断流用
mtr -rwc 200跑几分钟再下结论,四个包的采样什么也说明不了。
WARNING中间跳出现
???或星号同样常见:那一跳的路由器不回应探测包而已。只要后续跳数正常显示,就当它透明,不要在这一跳上浪费时间。
第六层之前先查本机:ss 看监听与连接
排外网问题排得热火朝天之前,先花十秒钟确认一件事:服务到底有没有在本机监听。别人连不上你的 443,第一嫌疑不是网络,而是 Nginx 根本没起来。
ss -tlnp:谁在监听哪个端口
ss -tlnpss -tlnp | grep :443参数拆解:
| 参数 | 含义 |
|---|---|
-t | 只看 TCP |
-l | 只看监听(LISTEN)状态 |
-n | 端口与地址都显示数字,不做反向解析(更快、更真实) |
-p | 显示占用端口的进程(需要 root 才能看全) |
UDP 服务把 -t 换成 -u,或者用 ss -tulnp 一次看全。读输出时重点看监听地址:
0.0.0.0:443:监听所有 IPv4 地址,对外可达,正常。127.0.0.1:443:只监听本机回环,外网永远连不上,这不是网络故障,是服务配置只绑了本地。数据库、Redis 配成这样是好事(安全),Web 服务配成这样就是事故。[::]:443:监听 IPv6 的所有地址,通常会同时接住 IPv4(dual-stack),具体取决于系统配置。
ss 查连接状态
看已经建立的连接、以及连接都卡在什么状态:
ss -tn # 所有 TCP 连接ss -tn state established # 只看已建立的ss -tn state time-wait # 看 TIME-WAIT 堆积ss -s # 总览统计状态读法速记:
| 状态 | 含义 | 异常信号 |
|---|---|---|
LISTEN | 正在监听 | — |
ESTABLISHED | 连接正常工作中 | 数量异常暴涨要警惕 |
TIME-WAIT | 主动关闭方在等待收尾 | 海量堆积多见于高频短连接的客户端或反代 |
CLOSE-WAIT | 对方已关、我方还没关 | 持续堆积=应用没正确 close,是程序 bug |
SYN-SENT | 已发出连接请求、没等到回应 | 大量出现=对端不可达或被防火墙丢弃 |
这里要立一条分界线:端口没有进程监听,就是服务问题,不是网络问题;端口在正常监听、外面却连不上,才轮到防火墙和线路背锅。这条线划不清,就会在错误的层里打转。
从外面测端口通不通
在本机确认监听没问题后,从另一台机器(或本机)测端口可达性:
curl -v http://example.com:8080/ # 最顺手,顺带看应用层nc -vz example.com 443 # 纯测端口,通/不通给明确结论telnet 也能测,但信息太少,只在没装 nc 的老机器上救急。
第五层:DNS 排查
“能 ping 通 IP、打不开域名”——出现这个症状组合,不用再猜了,直接按 DNS 问题处理。
先分清:系统解析走的是哪条路
应用程序查域名,多数走的是系统解析链:读 /etc/nsswitch.conf,通常先查 /etc/hosts,再问 /etc/resolv.conf 里写的 DNS 服务器。快速验证系统实际解析结果:
getent hosts example.comcat /etc/resolv.confcat /etc/hosts注意两个坑:
/etc/hosts里如果留了手工写的错误记录,会优先于 DNS 生效,症状是”就这台机器解析不对,别的机器都正常”。- 现在很多发行版的
/etc/resolv.conf其实是 systemd-resolved 的存根文件,里面只有127.0.0.53一个地址——真正的上游 DNS 在 resolved 的配置里。用resolvectl status能看到每块网卡实际用的 DNS 是什么。改 DNS 别直接乱改这个文件,先看清它归谁管。
dig:把解析过程看个明明白白
dig example.comdig example.com Adig @8.8.8.8 example.com # 指定用某个解析器查dig @223.5.5.5 example.com # 换一个解析器对比dig +short example.com # 只看结果dig example.com +trace # 从根开始逐级追踪(偶尔用,慢)读 dig 输出抓四处:
| 位置 | 看什么 |
|---|---|
status: | NOERROR 正常;NXDOMAIN=域名不存在;SERVFAIL=解析器或权威侧出错 |
ANSWER SECTION | 实际解析到的记录,对不对、是不是预期的 IP |
Query time | 解析耗时,几百毫秒以上就是解析器有问题 |
SERVER: | 这次到底问的是哪个 DNS 服务器 |
@ 指定解析器对比是 DNS 排障的杀手锏:本机默认解析器查出来是错的、换 8.8.8.8 查是对的,结论就是本地 DNS 被污染或配置错误,与目标网站毫无关系;两个都错,那要去查这个域名自己的权威解析配置了。
WARNINGdig、host、nslookup 都来自 bind-utils / dnsutils 包,新装的精简系统可能没有。没有 dig 时,先用 getent hosts 顶着判断系统解析结果,再把工具装上。不要拿 ping 域名的方式看解析——ping 显示的 IP 只能看个结果,看不到问的是谁、答得对不对。
第七层:curl 深用
端口通了,不代表服务好用。“网站能打开但巨慢""偶尔 502”,这类问题的主力工具是 curl。
curl -v:看连接与握手全过程
curl -v https://example.com/它会把过程逐行打出来:解析到哪个 IP、连的哪个地址、TLS 握手用的什么版本与证书、发了什么请求头、对方回了什么状态。在哪一行卡住、哪一行报错,问题就停在哪一层。比如卡在 Trying 1.2.3.4... 半天不动,是连接建立不了;握手阶段报证书错误,是证书问题,与网络无关。
curl -w:分段计时,一刀切开慢在哪
这是本篇最值得背下来的一条命令:
curl -o /dev/null -s -w 'dns:%{time_namelookup} conn:%{time_connect} tls:%{time_appconnect} ttfb:%{time_starttransfer} total:%{time_total}\n' https://example.com/各段含义与慢的指向:
| 变量 | 含义 | 这一段慢说明什么 |
|---|---|---|
time_namelookup | DNS 解析完成时刻 | 解析慢:换解析器或查本地 DNS |
time_connect | TCP 三次握手完成时刻 | 与上一段的差值大=线路延迟高或丢包重传 |
time_appconnect | TLS 握手完成时刻 | 与上一段差值大=TLS 协商问题或中间设备干扰 |
time_starttransfer | 收到第一个字节(TTFB) | 与握手完成差值大=源站处理慢,锅在服务端 |
time_total | 全部下载完成 | 与 TTFB 差值大=带宽或响应体太大 |
一句话用法:TTFB 占了总时间的九成,就是源站慢,别再查网络了;时间大多耗在 connect 段,才是线路的问题。
curl —resolve:绕过 DNS 直打指定 IP
怀疑 DNS 给的 IP 有问题、或者想验证某台源站本身好不好,用:
curl -v --resolve example.com:443:1.2.3.4 https://example.com/它让 curl 跳过解析、直接连你指定的 IP,但 Host 头和证书校验仍按域名走。这是区分”解析的锅”和”源站的锅”的标准动作:直打源站正常、走域名不正常,问题百分之百在解析链路上。
MTU:小包通、大包不通的怪病
有一类症状非常有特征:SSH 能登、ping 能通、小网页能开,但传大文件就卡死、打开大页面就转圈、TLS 握手到一半断掉。这是典型的 MTU(最大传输单元)问题:小包能过,接近上限的大包被路径上某个环节悄悄丢掉。
原因通常是 PPPoE 拨号、各种隧道(VPN、GRE、WireGuard)额外封装了包头,使有效 MTU 小于标准的 1500,而路径 MTU 发现又被防火墙拦了 ICMP,导致大包有去无回。
测法是用 ping 手工二分包大小(-M do 表示禁止分片,包超了就直接失败):
ping -M do -s 1472 -c 3 223.5.5.5 # 1472+28=1500,标准以太网满包ping -M do -s 1464 -c 3 223.5.5.5 # 不通就逐步减小试满包不通、减小到某个值就通,说明路径 MTU 小于 1500,临界值加 28(IP 头 20+ICMP 头 8)就是实际 MTU。解法是在本机网卡或隧道接口上把 MTU 调到测出的值,或在路由器上做 MSS 钳制。先测再改,不要凭感觉填数字。
完整剧本:用户说”网站打不开”
把前面的东西串起来,实地走一遍。场景:用户反馈 https://blog.example.com 打不开,你手里只有这台源站服务器和一台能当外部视角的机器(自己的电脑也行)。
**第一步,先在本机分清内外。**在源站本机上自测:
curl -I http://127.0.0.1/ss -tlnp | grep -E ':80|:443'本机 curl 正常、80/443 都在监听——服务本身没问题,故障在本机之外或解析上。若本机都不通,剧本到此结束,转去查服务,别再往下走网络流程。
第二步,从外部视角复现并分段计时。
curl -o /dev/null -s -w 'dns:%{time_namelookup} conn:%{time_connect} tls:%{time_appconnect} ttfb:%{time_starttransfer}\n' https://blog.example.com/curl -v https://blog.example.com/假设结果是:dns 段瞬间完成,conn 段直接超时,-v 显示它连向的 IP 是 203.0.113.99——而你很清楚源站的真实 IP 是 198.51.100.23。连接没问题,是它连错了地方。
第三步,查解析,对比解析器。
dig +short blog.example.comdig @8.8.8.8 +short blog.example.comdig @223.5.5.5 +short blog.example.com三个解析器一致给出 203.0.113.99,说明不是本地污染,是这个域名的权威解析记录本身就写着这个 IP——要么是之前迁移服务器时漏改了记录,要么是有人误操作。再用 dig blog.example.com 看 ANSWER 段的 TTL,确认改完记录后要等多久才全网生效。
第四步,直打源站验证收尾。
curl -v --resolve blog.example.com:443:198.51.100.23 https://blog.example.com/返回正常页面——源站与证书全部健康。结论闭环:去 DNS 控制台把 A 记录改回 198.51.100.23,等 TTL 过期后复测域名访问恢复。全程没有重启过任何服务,没有改过一行配置,故障纯粹出在第五层。
这个剧本的价值不在具体命令,而在顺序:每一步的结论都决定下一步查哪里,而不是同时怀疑十个地方。
排障清单收束
最后把高频场景收成一张速查表,遇到问题先对号入座:
| 症状 | 先查什么 | 大概率结论 |
|---|---|---|
| 完全上不了网 | ip addr、ip route | IP 没配上或没有默认路由 |
| 能通 IP、打不开域名 | dig 对比解析器 | DNS 配置错误或解析记录写错 |
| 端口连不上 | ss -tlnp 看监听 → 再查防火墙 | 没监听是服务问题;监听正常查防火墙与安全组(见 Linux 防火墙:ufw 与 nftables) |
| 连得上但很慢 | curl -w 分段计时 | 看时间耗在哪一段:线路慢还是源站慢 |
| 间歇性断流、偶发超时 | mtr -rwc 200 长跑 | 看最后一跳丢包与延迟抬升点 |
| 小包通、大文件卡死 | ping -M do -s 二分测 MTU | 路径 MTU 小于 1500 |
| 就一台机器解析不对 | 查它的 /etc/hosts 与 resolv.conf | 本地 hosts 残留或 resolved 配置问题 |
| 连接数异常、端口耗尽 | ss -s、ss -tn state 按状态统计 | TIME-WAIT/CLOSE-WAIT 堆积,回应用层查 |
还要提醒一句工具的边界:这篇讲的都是”点”上的定位——某一刻通不通、慢在哪。需要看实时流量长什么样、抓包看报文内容,那是 tcpdump 的活,本系列后面的抓包篇会专门讲。先把分层排查练成肌肉记忆,绝大多数”网络不通”,在这七层之内就能结案。
小结
- 排障按七层顺序走:链路 → 本机 IP → 路由网关 → 外网 IP → DNS → 端口 → 应用,下一层不通不查上一层。
ip addr与ip route确认本机配置,ip route get一锤定音看流量走哪块网卡。- ping 用三段定位法缩小范围;记住 ping 不通不等于服务挂了,ICMP 被禁是常态。
- mtr 看最后一跳的丢包才是真的丢包,延迟看逐跳增量找瓶颈段。
ss -tlnp先确认服务在监听:没监听是服务问题,在监听才轮到网络与防火墙。- DNS 问题用 dig 加
@对比解析器定性;curl 用-v看过程、-w分段计时、--resolve绕解析直打源站,是应用层的三件套。 - 小包通大包死,测 MTU;间歇性故障,长跑 mtr。所有结论都让命令说话,不猜。