4909 字
25 分钟
Linux 性能排障:CPU、内存、IO、网络四条线
2026-11-15

Linux 性能排障:CPU、内存、IO、网络四条线#

服务器变卡的时候,多数人的第一反应是重启。重启确实常常”立竿见影”,但它解决的不是问题,是证据:进程内存泄漏了?某个任务在狂写磁盘?连接堆积了?重启之后现场全部清零,下次再犯还是抓瞎,而且两次故障之间你什么都没学到。

这篇讲一套能落地的排查顺序。核心思路只有一句:先分清卡在哪条线上,再沿着那条线往下钻。服务器性能问题归根结底逃不出四条线:CPU、内存、磁盘 IO、网络。每条线都有自己的入口命令和判断标准,按顺序过一遍,绝大多数”变卡”都能定位到具体进程和具体原因。

全文以 Debian 为主线,命令在 Ubuntu 上同样适用。工具大多来自 procps、sysstat 这两个包,文中会先把工具装齐。

一、方法论先行:先确认症状,再分线排查#

动手之前先花两分钟把症状确认清楚,这一步省掉的弯路比后面所有命令加起来都多。

1.1 先回答四个问题#

  1. 卡的表现是什么? 是网页打开慢、SSH 登录迟钝、命令执行卡顿,还是某个服务直接无响应?不同表现指向不同的线。
  2. 范围有多大? 整台机器都卡,还是只有一个服务卡?只有一个容器卡,先去看那个容器,别急着查整机。
  3. 什么时候开始的? 刚部署完新版本之后?某个整点任务跑起来之后?流量高峰?时间点往往直接指向元凶。
  4. 是突发的还是缓慢恶化的? 突发多半是任务、流量或故障;缓慢恶化多半是泄漏、数据增长、日志膨胀。

1.2 四条线的排查顺序#

推荐的默认顺序是 CPU → 内存 → IO → 网络,原因很实际:前两条线用 top 一眼就能看个大概,IO 和网络需要多敲几个命令。

顺序线入口命令一眼能确认什么
1CPUuptime、top负载多高、谁在吃 CPU、IO 等待占比
2内存free -h、top(按 M 排序)真实可用内存、谁是内存大户、有没有在用 Swap
3IOiostat -x 1、iotop磁盘忙不忙、延迟多高、谁在读写
4网络ss -s、sar -n DEV 1连接堆积、流量异常、丢包重传
WARNING

不要上来就重启。除非业务正在遭受不可承受的损失、必须先恢复再说,否则至少先把 top、free -h、iostat 的输出截图或存档留一份。没有现场的故障,复盘时只能靠猜。

1.3 把工具装齐#

Debian 默认不带 iostat、iotop 这些工具,先装好:

Terminal window
apt update
apt install -y sysstat htop iotop iftop
  • sysstat 提供 iostat、sar、pidstat;
  • htop 是 top 的增强版,看进程更直观;
  • iotop 按进程看磁盘读写,需要 root 权限;
  • iftop 按连接看网卡流量。

二、通用入口:uptime 与 top 先过一遍#

2.1 load average:三个数到底怎么读#

uptime 的输出末尾是三组负载数字:

14:32:07 up 26 days, 3:14, 2 users, load average: 2.85, 1.92, 1.20

三个数分别是过去 1 分钟、5 分钟、15 分钟 的平均负载。看趋势比看绝对值重要:1 分钟远大于 15 分钟,说明负载正在爬升;反过来说明高峰已过。

负载的定义是:处于可运行状态(R)和不可中断睡眠状态(D)的进程平均数。这里有个最常见的误解必须纠正:load 高不等于 CPU 高。D 状态进程通常是卡在磁盘 IO 上等数据,它们不消耗 CPU,但会计入负载。所以 load 很高而 CPU 使用率不高时,问题多半在 IO 线,不在 CPU 线。

负载和核数的关系决定了”多高算高”:

机器核数load 长期值判断
2 核接近或超过 2CPU/IO 已排队,开始变慢
4 核接近或超过 4满负荷,进一步恶化会雪崩
8 核3~4只用了一半左右,不算高

查核数:

Terminal window
nproc

经验线:load 长期超过核数的 70% 就值得警惕,持续超过核数本身说明请求已经在排队。

2.2 top 的关键列逐个讲#

运行 top 后先看顶部汇总区:

%Cpu(s): 12.5 us, 3.1 sy, 0.0 ni, 78.2 id, 5.9 wa, 0.0 hi, 0.3 si, 0.0 st
字段含义高了说明什么
us用户态 CPU应用程序本身在忙(计算、循环、请求量大)
sy内核态 CPU系统调用频繁、网络收发包、上下文切换多
id空闲越低越忙,长期接近 0 说明 CPU 真不够用
waIO 等待CPU 在等磁盘,长期高直接转 IO 线排查
st被宿主机偷走的时间云服务器特有,高了是宿主机超售或邻居抢资源

进程列表里重点看这几列:

列含义排查要点
%CPU进程 CPU 占用多核机器上可以超过 100%,400% 约等于吃满 4 个核
RES实际占用的物理内存判断内存大户看这个,不要看 VIRT
SHR共享内存多个进程共用同一批库时不要重复计算
S(状态)进程状态R 在跑、S 在睡、D 不可中断睡眠(多在等 IO)、Z 僵尸

top 里两个高频操作:按 M 按内存排序找大户,按 P 回到按 CPU 排序。htop 里同样的事用 F6 选排序列,还能直接看到每个核的占用条。

三、CPU 线:谁在吃、吃在哪#

3.1 先分清是 us 高还是 sy 高#

  • us 高:应用程序自己的代码在烧 CPU。可能是流量真的大,也可能是死循环、正则回溯、加密计算过重。用 top 找到进程后,剩下的事是去看这个应用的日志和监控。
  • sy 高:内核在替进程忙。常见原因是小包高频收发(网络服务没做批量处理)、疯狂打日志、频繁创建销毁进程和线程。这类问题 CPU 使用率看着高,但业务代码本身没干多少活。

找吃 CPU 的进程:

Terminal window
# 按 CPU 排序看前 10 个进程
ps aux --sort=-%cpu | head -11
# 实时盯某个进程的线程级占用(有些程序是一个进程多线程在烧)
top -H -p <PID>

3.2 上下文切换:隐形的 CPU 小偷#

进程切换本身不干活,但切换太频繁会把 CPU 耗在调度上,表现是 sy 偏高、吞吐上不去。用 vmstat 看:

Terminal window
vmstat 1 5

重点看两列:

列含义判断
cs每秒上下文切换次数空闲机器一般几百到几千;长期十万级且伴随 sy 高,就是切换在吃 CPU
in每秒中断次数网卡中断风暴时异常高

想定位到具体进程,用 pidstat:

Terminal window
# 每秒刷新,看各进程的 CPU 与上下文切换
pidstat -w 1
# 只看某个进程
pidstat -p <PID> 1

输出里的 cswch/s 是主动切换(多在等锁、等 IO),nvcswch/s 是被动切换(时间片用完被抢)。主动切换高,先查它在等什么;被动切换高,说明 CPU 竞争确实激烈。

3.3 CPU 线的判断标准汇总#

现象结论下一步
us 高、单进程吃满应用热点或死循环查该应用日志、请求量
sy 高、cs 十万级切换/系统调用过载pidstat -w 定位进程
load 高但 CPU 使用率低不是 CPU 的问题转 IO 线,查 D 状态进程
st 长期大于 5%云主机被偷算力换宿主机或升级规格,优化代码没用
WARNING

st 高是云服务器上最容易误判的情况:不要在 st 高的时候去优化自己的代码,算力是被宿主机拿走的,工单和迁移才是正解。

四、内存线:内存到底去哪了#

4.1 free 的正确读法#

Terminal window
free -h
total used free shared buff/cache available
Mem: 7.8Gi 3.1Gi 512Mi 128Mi 4.2Gi 4.3Gi
Swap: 2.0Gi 380Mi 1.6Gi

新手最容易被 free 只剩 512Mi 吓到,其实完全不用慌:

  • buff/cache 是内核拿空闲内存做的磁盘缓存,不是被程序吃掉的,程序需要内存时它会立刻让出来;
  • available 才是内核估算的”还能给新程序用多少”,判断内存够不够,只看 available;
  • used 里包含了各种常驻服务,单独看它没有意义。

真正的内存紧张信号是:available 长期只剩总量的 5% 以下,并且 Swap 在持续增长。

4.2 找内存大户#

Terminal window
# 按内存排序看前 10 个进程
ps aux --sort=-%mem | head -11
# top 里按 M 键排序,效果相同
top

注意按进程看会漏掉一种情况:单个进程不大,但同名进程有一百个(比如 PHP-FPM、预派生工作进程)。这时按进程名汇总:

Terminal window
ps -eo rss,comm --no-headers | awk '{a[$2]+=$1} END {for (k in a) print a[k]/1024 " MB", k}' | sort -rn | head

4.3 OOM Killer:进程”莫名消失”的证据在这#

内存真的耗尽时,内核会启动 OOM Killer 杀掉一个进程换空间。服务半夜”自己停了”,十有八九是它干的。证据查这里:

Terminal window
# 内核日志里找 Out of memory 记录
dmesg -T | grep -i -E "out of memory|oom-kill|killed process"
# 用 journalctl 查也一样
journalctl -k --since "24 hours ago" | grep -i "killed process"

典型输出:

Out of memory: Killed process 12845 (java) total-vm:5234108kB, anon-rss:3102456kB

这行日志会写清谁被杀、当时占了多少内存。看到它,方向就明确了:要么那个进程在泄漏,要么机器内存真不够,靠加 Swap 只能延缓。

WARNING

千万不要把”关掉 OOM Killer”当解决方案。关掉它不会变出内存,只会让整机在内存耗尽时一起卡死,从”死一个服务”变成”全站宕机”。

4.4 Swap 被用上了意味着什么#

Swap 里有数据不等于出事——内核会把长期不用的冷页换出去,给缓存腾地方。判断标准看换入换出是否持续发生:

Terminal window
vmstat 1 5

看 si(每秒从 Swap 换入)和 so(每秒换出到 Swap)两列:偶尔有数字正常;长期持续非零,说明内存确实不够,程序正在拿磁盘当内存用,这时整机会明显变卡,先按 4.2 找大户,或者准备扩容。

五、IO 线:磁盘在忙什么#

5.1 iostat -x:一眼看清磁盘状态#

Terminal window
iostat -x 1 5

重点看这几列(以输出设备行为准):

列含义判断
r/s、w/s每秒读/写次数结合业务量看是否异常暴增
rkB/s、wkB/s每秒读写吞吐是否顶到磁盘带宽上限
awaitIO 平均等待时间(毫秒)SSD 应在 1ms 上下;持续超过 10ms 就有明显排队
%util磁盘忙碌时间占比长期接近 100% 说明这块盘已满负荷
WARNING

%util 接近 100% 对传统机械盘和单队列设备基本等于饱和,但对 NVMe 和多队列 SSD 只能作参考——它们能并行处理请求,util 满了不一定慢。判断 IO 到底卡不卡,最终看 await,延迟上去了才是真排队。

5.2 iotop:找到底是哪个进程在读写#

Terminal window
iotop -o

-o 只显示正在发生 IO 的进程。看 DISK READ、DISK WRITE 两列和右侧的命令名。日志狂写、数据库刷盘、备份任务、解压大文件,最常见的元凶都在这里现形。

5.3 wa 高和 D 状态:IO 卡的典型画像#

回到 top:如果 %Cpu(s) 那行里 wa 长期高于 20%~30%,说明大量 CPU 时间在等磁盘。再看进程列表里 D 状态进程堆了几个:

Terminal window
# 数一数当前有多少 D 状态进程
ps -eo state | grep -c "^D"
# 把它们列出来
ps -eo pid,state,comm | awk '$2 ~ /^D/'

D 状态进程堆积的含义是:请求已经发给磁盘了,但磁盘迟迟不回话。可能是磁盘满负荷、磁盘故障(云盘劣化也算)、或者网络存储(NFS 等)无响应。这类进程 kill -9 也杀不掉,只能等 IO 返回或处理底层存储,别在进程层面浪费时间。

5.4 磁盘满和 IO 卡是两回事#

顺手把这组命令也跑一下,空间问题伪装成性能问题的案例太多了:

Terminal window
df -h # 看容量
df -i # 看 inode,小文件太多时容量没满 inode 先满
du -sh /var/* 2>/dev/null | sort -rh | head # 找占空间的大目录
  • 容量 100%:写不进新数据,数据库、日志、上传一起报错;
  • inode 100%:表现一模一样(无法创建文件),但 df -h 看着还有空间,只看 -i 才发现。

六、网络线:连接堆积与丢包#

6.1 ss 看连接状态分布#

Terminal window
# 汇总:各状态连接数一目了然
ss -s
# 只统计状态分布
ss -tan | awk 'NR>1 {a[$1]++} END {for (k in a) print k, a[k]}' | sort -k2 -rn

两种最常见的堆积,含义完全不同:

状态堆积说明什么常见原因
TIME_WAIT 多(上万)本机在频繁主动关连接短连接太多、没用连接池;多数情况可承受,别急着改内核参数
CLOSE_WAIT 多且持续增长对端关了,本机程序没关基本是应用 bug:连接用完没 close,改代码,别调系统

查哪个进程占着连接:

Terminal window
ss -tanp | grep CLOSE_WAIT | head

6.2 网卡流量:跑满了还是异常突增#

Terminal window
# 每秒刷新各网卡的收发速率
sar -n DEV 1
# 按连接看谁在传
iftop -i eth0

网卡名先用 ip -br a 确认。判断两点:速率是否顶到带宽上限(千兆网卡约 125 MB/s,云主机看实例规格的带宽上限);是否出现与业务无关的异常流量(比如半夜备份、被盗刷流量)。

6.3 丢包与重传:连接慢的隐形原因#

Terminal window
netstat -s | grep -i -E "retrans|drop|overflow|timeout"

(netstat 来自 net-tools 包,新系统可用 nstat 替代,或看 ss -ti 里单个连接的 retrans 字段。)

重点看:

指标含义判断
segments retransmittedTCP 重传段数持续快速增长说明链路在丢包,先查网络侧
listen queue overflow监听队列溢出次数大于 0 说明连接进来的速度超过程序 accept 的速度
SYNs to LISTEN sockets dropped半连接被丢弃队列满或疑似 SYN 洪水

单个连接的实时情况用 ss -ti 看,里面的 rtt(往返时延)和 retrans(已重传次数)能直接判断这条连接的链路质量。

七、完整剧本:网站变慢,十五分钟定位到日志打满 IO#

下面是一次真实感的完整排查,命令链按顺序执行,演示四条线怎么串起来用。

背景:下午三点,监控报警:网站响应时间从 200ms 涨到 3 秒以上,偶发 502。

第 1 分钟,先看负载和全局状态:

Terminal window
uptime
# load average: 6.42, 5.87, 4.15 —— 4 核机器,负载已超核数且还在涨
top
# %Cpu(s): 8.2 us, 4.1 sy, 55.3 id, 31.8 wa

CPU 使用率总共才百分之十几,但 wa 高达 31.8%——第一判断:不是 CPU 的问题,是 IO 在拖。load 高的原因也找到了:进程都堵在磁盘上。

第 3 分钟,确认内存没参与作案:

Terminal window
free -h
# available 还有 3.2Gi,Swap 只用了 90Mi 且 vmstat 里 si/so 都是 0

内存线排除。

第 5 分钟,锁定磁盘状态:

Terminal window
iostat -x 1 3
# vda: w/s 412, wkB/s 38500, await 46.20, %util 99.8

写等待 46ms、利用率 99.8%,这块盘已经被写满了。接下来只有一个问题:谁在写?

第 7 分钟,揪出写盘的进程:

Terminal window
iotop -o
# Total DISK WRITE: 37.5 MB/s
# 12845 be/4 root 0.00 B/s 34.2 MB/s ... app-worker --log-level=debug

一个应用进程在以 34 MB/s 的速度写盘。顺手确认它在写哪个文件:

Terminal window
ls -l /proc/12845/fd | grep -v -E "socket|pipe" | tail
# 3 -> /var/log/app/app.log
du -sh /var/log/app/
# 18G /var/log/app/

第 10 分钟,找根因而不是只处理现场:

Terminal window
tail -c 2000 /var/log/app/app.log
# 满屏同一条 DEBUG 级别的请求体打印
grep -rn "log" /opt/app/config/ | grep -i level
# config.yaml: level: debug

根因清楚了:上午发版时把日志级别误改成了 debug,每个请求都把完整请求体和响应体写进日志,磁盘 IO 被日志写满,所有服务一起变慢。

第 13 分钟,处置与收尾:

Terminal window
# 1. 改回 info 并重启该服务(配置类问题,重启是正当处置)
sed -i 's/level: debug/level: info/' /opt/app/config/config.yaml
systemctl restart app
# 2. 清理失控的日志文件并确认空间回收
truncate -s 0 /var/log/app/app.log
df -h /
# 3. 给日志目录配上轮转,防止再犯(logrotate 配置略,见本系列日志管理篇)
# 4. 回看指标确认恢复
iostat -x 1 3
# await 回到 0.8ms,%util 12%

整个过程没重启整机、没瞎试参数,四条线排除三条、在第四条线上走到底,并且留下了明确根因和防再犯措施——这就是分线排查的价值。

八、症状速查表#

症状先看哪条线关键命令典型元凶
整机卡顿、命令都慢CPU → IOuptime、top 看 wa任务打满 CPU、磁盘被写满
load 很高但 CPU 不高IOiostat -x 1、ps 看 D 状态磁盘排队、存储故障、NFS 无响应
服务进程半夜消失内存dmesg -T | grep -i "killed process"OOM Killer、内存泄漏
越跑越慢、重启就好(几天后复发)内存ps aux --sort=-%mem、vmstat 1 看 si/so内存泄漏、连接/句柄泄漏
网站慢但机器很闲网络ss -s、netstat -s 看重传链路丢包、连接堆积、带宽跑满
某个端口连接不上、新连接被拒网络netstat -s 看 listen overflow监听队列满、程序 accept 太慢
磁盘空间没满却写不了文件IOdf -iinode 耗尽(小文件太多)

九、什么时候该扩容,而不是优化#

排查的终点不总是”改个参数就好了”。出现下面这些信号,说明瓶颈是规格本身,继续优化是浪费时间:

  • 某条线的水位长期(以周为单位)处在高位:CPU 使用率常年 80% 以上、内存 available 常年见底、磁盘 await 在业务低峰也降不下来;
  • 已经确认没有异常进程、没有泄漏、没有配置错误,吃资源的都是正经业务;
  • 流量和数据量的增长曲线明确,现有规格按当前增速撑不过一两个月。

这时候正确的动作是升配、拆分服务或加机器。反过来,突发异常先排查再扩容——给一台被日志打满 IO 的机器升配,只会得到一块更贵的、继续被打满的盘。

小结#

  • 排障先讲方法论:确认症状、范围、时间和趋势,再按 CPU → 内存 → IO → 网络四条线逐条排除;
  • load 高不等于 CPU 高,D 状态进程一样计入负载,top 里的 wa 是分流到 IO 线的信号;
  • 看内存只看 available,buff/cache 不是被吃掉;进程消失先去 dmesg 找 OOM 证据;
  • 看磁盘最终看 await 而不是 %util;D 状态堆积说明请求在等存储返回,杀进程没用;
  • TIME_WAIT 多半无害,CLOSE_WAIT 堆积基本是应用没关连接的代码问题;
  • 处置完要留根因和防再犯措施;水位长期高位且无异常,就是该扩容的信号,别和规格硬耗。

下一篇是本系列的收官篇:《Linux 安全巡检清单》,把前面各篇的安全要点汇成一张可以逐项打勾的检查表。

Linux 性能排障:CPU、内存、IO、网络四条线
https://www.anexns.cloudns.org/posts/linux-performance-troubleshooting/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0