Linux 性能排障:CPU、内存、IO、网络四条线
服务器变卡的时候,多数人的第一反应是重启。重启确实常常”立竿见影”,但它解决的不是问题,是证据:进程内存泄漏了?某个任务在狂写磁盘?连接堆积了?重启之后现场全部清零,下次再犯还是抓瞎,而且两次故障之间你什么都没学到。
这篇讲一套能落地的排查顺序。核心思路只有一句:先分清卡在哪条线上,再沿着那条线往下钻。服务器性能问题归根结底逃不出四条线:CPU、内存、磁盘 IO、网络。每条线都有自己的入口命令和判断标准,按顺序过一遍,绝大多数”变卡”都能定位到具体进程和具体原因。
全文以 Debian 为主线,命令在 Ubuntu 上同样适用。工具大多来自 procps、sysstat 这两个包,文中会先把工具装齐。
一、方法论先行:先确认症状,再分线排查
动手之前先花两分钟把症状确认清楚,这一步省掉的弯路比后面所有命令加起来都多。
1.1 先回答四个问题
- 卡的表现是什么? 是网页打开慢、SSH 登录迟钝、命令执行卡顿,还是某个服务直接无响应?不同表现指向不同的线。
- 范围有多大? 整台机器都卡,还是只有一个服务卡?只有一个容器卡,先去看那个容器,别急着查整机。
- 什么时候开始的? 刚部署完新版本之后?某个整点任务跑起来之后?流量高峰?时间点往往直接指向元凶。
- 是突发的还是缓慢恶化的? 突发多半是任务、流量或故障;缓慢恶化多半是泄漏、数据增长、日志膨胀。
1.2 四条线的排查顺序
推荐的默认顺序是 CPU → 内存 → IO → 网络,原因很实际:前两条线用 top 一眼就能看个大概,IO 和网络需要多敲几个命令。
| 顺序 | 线 | 入口命令 | 一眼能确认什么 |
|---|---|---|---|
| 1 | CPU | uptime、top | 负载多高、谁在吃 CPU、IO 等待占比 |
| 2 | 内存 | free -h、top(按 M 排序) | 真实可用内存、谁是内存大户、有没有在用 Swap |
| 3 | IO | iostat -x 1、iotop | 磁盘忙不忙、延迟多高、谁在读写 |
| 4 | 网络 | ss -s、sar -n DEV 1 | 连接堆积、流量异常、丢包重传 |
WARNING不要上来就重启。除非业务正在遭受不可承受的损失、必须先恢复再说,否则至少先把
top、free -h、iostat的输出截图或存档留一份。没有现场的故障,复盘时只能靠猜。
1.3 把工具装齐
Debian 默认不带 iostat、iotop 这些工具,先装好:
apt updateapt install -y sysstat htop iotop iftopsysstat提供iostat、sar、pidstat;htop是top的增强版,看进程更直观;iotop按进程看磁盘读写,需要 root 权限;iftop按连接看网卡流量。
二、通用入口:uptime 与 top 先过一遍
2.1 load average:三个数到底怎么读
uptime 的输出末尾是三组负载数字:
14:32:07 up 26 days, 3:14, 2 users, load average: 2.85, 1.92, 1.20三个数分别是过去 1 分钟、5 分钟、15 分钟 的平均负载。看趋势比看绝对值重要:1 分钟远大于 15 分钟,说明负载正在爬升;反过来说明高峰已过。
负载的定义是:处于可运行状态(R)和不可中断睡眠状态(D)的进程平均数。这里有个最常见的误解必须纠正:load 高不等于 CPU 高。D 状态进程通常是卡在磁盘 IO 上等数据,它们不消耗 CPU,但会计入负载。所以 load 很高而 CPU 使用率不高时,问题多半在 IO 线,不在 CPU 线。
负载和核数的关系决定了”多高算高”:
| 机器核数 | load 长期值 | 判断 |
|---|---|---|
| 2 核 | 接近或超过 2 | CPU/IO 已排队,开始变慢 |
| 4 核 | 接近或超过 4 | 满负荷,进一步恶化会雪崩 |
| 8 核 | 3~4 | 只用了一半左右,不算高 |
查核数:
nproc经验线:load 长期超过核数的 70% 就值得警惕,持续超过核数本身说明请求已经在排队。
2.2 top 的关键列逐个讲
运行 top 后先看顶部汇总区:
%Cpu(s): 12.5 us, 3.1 sy, 0.0 ni, 78.2 id, 5.9 wa, 0.0 hi, 0.3 si, 0.0 st| 字段 | 含义 | 高了说明什么 |
|---|---|---|
us | 用户态 CPU | 应用程序本身在忙(计算、循环、请求量大) |
sy | 内核态 CPU | 系统调用频繁、网络收发包、上下文切换多 |
id | 空闲 | 越低越忙,长期接近 0 说明 CPU 真不够用 |
wa | IO 等待 | CPU 在等磁盘,长期高直接转 IO 线排查 |
st | 被宿主机偷走的时间 | 云服务器特有,高了是宿主机超售或邻居抢资源 |
进程列表里重点看这几列:
| 列 | 含义 | 排查要点 |
|---|---|---|
%CPU | 进程 CPU 占用 | 多核机器上可以超过 100%,400% 约等于吃满 4 个核 |
RES | 实际占用的物理内存 | 判断内存大户看这个,不要看 VIRT |
SHR | 共享内存 | 多个进程共用同一批库时不要重复计算 |
S(状态) | 进程状态 | R 在跑、S 在睡、D 不可中断睡眠(多在等 IO)、Z 僵尸 |
top 里两个高频操作:按 M 按内存排序找大户,按 P 回到按 CPU 排序。htop 里同样的事用 F6 选排序列,还能直接看到每个核的占用条。
三、CPU 线:谁在吃、吃在哪
3.1 先分清是 us 高还是 sy 高
us高:应用程序自己的代码在烧 CPU。可能是流量真的大,也可能是死循环、正则回溯、加密计算过重。用top找到进程后,剩下的事是去看这个应用的日志和监控。sy高:内核在替进程忙。常见原因是小包高频收发(网络服务没做批量处理)、疯狂打日志、频繁创建销毁进程和线程。这类问题 CPU 使用率看着高,但业务代码本身没干多少活。
找吃 CPU 的进程:
# 按 CPU 排序看前 10 个进程ps aux --sort=-%cpu | head -11
# 实时盯某个进程的线程级占用(有些程序是一个进程多线程在烧)top -H -p <PID>3.2 上下文切换:隐形的 CPU 小偷
进程切换本身不干活,但切换太频繁会把 CPU 耗在调度上,表现是 sy 偏高、吞吐上不去。用 vmstat 看:
vmstat 1 5重点看两列:
| 列 | 含义 | 判断 |
|---|---|---|
cs | 每秒上下文切换次数 | 空闲机器一般几百到几千;长期十万级且伴随 sy 高,就是切换在吃 CPU |
in | 每秒中断次数 | 网卡中断风暴时异常高 |
想定位到具体进程,用 pidstat:
# 每秒刷新,看各进程的 CPU 与上下文切换pidstat -w 1
# 只看某个进程pidstat -p <PID> 1输出里的 cswch/s 是主动切换(多在等锁、等 IO),nvcswch/s 是被动切换(时间片用完被抢)。主动切换高,先查它在等什么;被动切换高,说明 CPU 竞争确实激烈。
3.3 CPU 线的判断标准汇总
| 现象 | 结论 | 下一步 |
|---|---|---|
us 高、单进程吃满 | 应用热点或死循环 | 查该应用日志、请求量 |
sy 高、cs 十万级 | 切换/系统调用过载 | pidstat -w 定位进程 |
| load 高但 CPU 使用率低 | 不是 CPU 的问题 | 转 IO 线,查 D 状态进程 |
st 长期大于 5% | 云主机被偷算力 | 换宿主机或升级规格,优化代码没用 |
WARNING
st高是云服务器上最容易误判的情况:不要在 st 高的时候去优化自己的代码,算力是被宿主机拿走的,工单和迁移才是正解。
四、内存线:内存到底去哪了
4.1 free 的正确读法
free -h total used free shared buff/cache availableMem: 7.8Gi 3.1Gi 512Mi 128Mi 4.2Gi 4.3GiSwap: 2.0Gi 380Mi 1.6Gi新手最容易被 free 只剩 512Mi 吓到,其实完全不用慌:
buff/cache是内核拿空闲内存做的磁盘缓存,不是被程序吃掉的,程序需要内存时它会立刻让出来;available才是内核估算的”还能给新程序用多少”,判断内存够不够,只看 available;used里包含了各种常驻服务,单独看它没有意义。
真正的内存紧张信号是:available 长期只剩总量的 5% 以下,并且 Swap 在持续增长。
4.2 找内存大户
# 按内存排序看前 10 个进程ps aux --sort=-%mem | head -11
# top 里按 M 键排序,效果相同top注意按进程看会漏掉一种情况:单个进程不大,但同名进程有一百个(比如 PHP-FPM、预派生工作进程)。这时按进程名汇总:
ps -eo rss,comm --no-headers | awk '{a[$2]+=$1} END {for (k in a) print a[k]/1024 " MB", k}' | sort -rn | head4.3 OOM Killer:进程”莫名消失”的证据在这
内存真的耗尽时,内核会启动 OOM Killer 杀掉一个进程换空间。服务半夜”自己停了”,十有八九是它干的。证据查这里:
# 内核日志里找 Out of memory 记录dmesg -T | grep -i -E "out of memory|oom-kill|killed process"
# 用 journalctl 查也一样journalctl -k --since "24 hours ago" | grep -i "killed process"典型输出:
Out of memory: Killed process 12845 (java) total-vm:5234108kB, anon-rss:3102456kB这行日志会写清谁被杀、当时占了多少内存。看到它,方向就明确了:要么那个进程在泄漏,要么机器内存真不够,靠加 Swap 只能延缓。
WARNING千万不要把”关掉 OOM Killer”当解决方案。关掉它不会变出内存,只会让整机在内存耗尽时一起卡死,从”死一个服务”变成”全站宕机”。
4.4 Swap 被用上了意味着什么
Swap 里有数据不等于出事——内核会把长期不用的冷页换出去,给缓存腾地方。判断标准看换入换出是否持续发生:
vmstat 1 5看 si(每秒从 Swap 换入)和 so(每秒换出到 Swap)两列:偶尔有数字正常;长期持续非零,说明内存确实不够,程序正在拿磁盘当内存用,这时整机会明显变卡,先按 4.2 找大户,或者准备扩容。
五、IO 线:磁盘在忙什么
5.1 iostat -x:一眼看清磁盘状态
iostat -x 1 5重点看这几列(以输出设备行为准):
| 列 | 含义 | 判断 |
|---|---|---|
r/s、w/s | 每秒读/写次数 | 结合业务量看是否异常暴增 |
rkB/s、wkB/s | 每秒读写吞吐 | 是否顶到磁盘带宽上限 |
await | IO 平均等待时间(毫秒) | SSD 应在 1ms 上下;持续超过 10ms 就有明显排队 |
%util | 磁盘忙碌时间占比 | 长期接近 100% 说明这块盘已满负荷 |
WARNING
%util接近 100% 对传统机械盘和单队列设备基本等于饱和,但对 NVMe 和多队列 SSD 只能作参考——它们能并行处理请求,util 满了不一定慢。判断 IO 到底卡不卡,最终看 await,延迟上去了才是真排队。
5.2 iotop:找到底是哪个进程在读写
iotop -o-o 只显示正在发生 IO 的进程。看 DISK READ、DISK WRITE 两列和右侧的命令名。日志狂写、数据库刷盘、备份任务、解压大文件,最常见的元凶都在这里现形。
5.3 wa 高和 D 状态:IO 卡的典型画像
回到 top:如果 %Cpu(s) 那行里 wa 长期高于 20%~30%,说明大量 CPU 时间在等磁盘。再看进程列表里 D 状态进程堆了几个:
# 数一数当前有多少 D 状态进程ps -eo state | grep -c "^D"
# 把它们列出来ps -eo pid,state,comm | awk '$2 ~ /^D/'D 状态进程堆积的含义是:请求已经发给磁盘了,但磁盘迟迟不回话。可能是磁盘满负荷、磁盘故障(云盘劣化也算)、或者网络存储(NFS 等)无响应。这类进程 kill -9 也杀不掉,只能等 IO 返回或处理底层存储,别在进程层面浪费时间。
5.4 磁盘满和 IO 卡是两回事
顺手把这组命令也跑一下,空间问题伪装成性能问题的案例太多了:
df -h # 看容量df -i # 看 inode,小文件太多时容量没满 inode 先满du -sh /var/* 2>/dev/null | sort -rh | head # 找占空间的大目录- 容量 100%:写不进新数据,数据库、日志、上传一起报错;
- inode 100%:表现一模一样(无法创建文件),但
df -h看着还有空间,只看-i才发现。
六、网络线:连接堆积与丢包
6.1 ss 看连接状态分布
# 汇总:各状态连接数一目了然ss -s
# 只统计状态分布ss -tan | awk 'NR>1 {a[$1]++} END {for (k in a) print k, a[k]}' | sort -k2 -rn两种最常见的堆积,含义完全不同:
| 状态 | 堆积说明什么 | 常见原因 |
|---|---|---|
TIME_WAIT 多(上万) | 本机在频繁主动关连接 | 短连接太多、没用连接池;多数情况可承受,别急着改内核参数 |
CLOSE_WAIT 多且持续增长 | 对端关了,本机程序没关 | 基本是应用 bug:连接用完没 close,改代码,别调系统 |
查哪个进程占着连接:
ss -tanp | grep CLOSE_WAIT | head6.2 网卡流量:跑满了还是异常突增
# 每秒刷新各网卡的收发速率sar -n DEV 1
# 按连接看谁在传iftop -i eth0网卡名先用 ip -br a 确认。判断两点:速率是否顶到带宽上限(千兆网卡约 125 MB/s,云主机看实例规格的带宽上限);是否出现与业务无关的异常流量(比如半夜备份、被盗刷流量)。
6.3 丢包与重传:连接慢的隐形原因
netstat -s | grep -i -E "retrans|drop|overflow|timeout"(netstat 来自 net-tools 包,新系统可用 nstat 替代,或看 ss -ti 里单个连接的 retrans 字段。)
重点看:
| 指标 | 含义 | 判断 |
|---|---|---|
segments retransmitted | TCP 重传段数 | 持续快速增长说明链路在丢包,先查网络侧 |
listen queue overflow | 监听队列溢出次数 | 大于 0 说明连接进来的速度超过程序 accept 的速度 |
SYNs to LISTEN sockets dropped | 半连接被丢弃 | 队列满或疑似 SYN 洪水 |
单个连接的实时情况用 ss -ti 看,里面的 rtt(往返时延)和 retrans(已重传次数)能直接判断这条连接的链路质量。
七、完整剧本:网站变慢,十五分钟定位到日志打满 IO
下面是一次真实感的完整排查,命令链按顺序执行,演示四条线怎么串起来用。
背景:下午三点,监控报警:网站响应时间从 200ms 涨到 3 秒以上,偶发 502。
第 1 分钟,先看负载和全局状态:
uptime# load average: 6.42, 5.87, 4.15 —— 4 核机器,负载已超核数且还在涨
top# %Cpu(s): 8.2 us, 4.1 sy, 55.3 id, 31.8 waCPU 使用率总共才百分之十几,但 wa 高达 31.8%——第一判断:不是 CPU 的问题,是 IO 在拖。load 高的原因也找到了:进程都堵在磁盘上。
第 3 分钟,确认内存没参与作案:
free -h# available 还有 3.2Gi,Swap 只用了 90Mi 且 vmstat 里 si/so 都是 0内存线排除。
第 5 分钟,锁定磁盘状态:
iostat -x 1 3# vda: w/s 412, wkB/s 38500, await 46.20, %util 99.8写等待 46ms、利用率 99.8%,这块盘已经被写满了。接下来只有一个问题:谁在写?
第 7 分钟,揪出写盘的进程:
iotop -o# Total DISK WRITE: 37.5 MB/s# 12845 be/4 root 0.00 B/s 34.2 MB/s ... app-worker --log-level=debug一个应用进程在以 34 MB/s 的速度写盘。顺手确认它在写哪个文件:
ls -l /proc/12845/fd | grep -v -E "socket|pipe" | tail# 3 -> /var/log/app/app.log
du -sh /var/log/app/# 18G /var/log/app/第 10 分钟,找根因而不是只处理现场:
tail -c 2000 /var/log/app/app.log# 满屏同一条 DEBUG 级别的请求体打印
grep -rn "log" /opt/app/config/ | grep -i level# config.yaml: level: debug根因清楚了:上午发版时把日志级别误改成了 debug,每个请求都把完整请求体和响应体写进日志,磁盘 IO 被日志写满,所有服务一起变慢。
第 13 分钟,处置与收尾:
# 1. 改回 info 并重启该服务(配置类问题,重启是正当处置)sed -i 's/level: debug/level: info/' /opt/app/config/config.yamlsystemctl restart app
# 2. 清理失控的日志文件并确认空间回收truncate -s 0 /var/log/app/app.logdf -h /
# 3. 给日志目录配上轮转,防止再犯(logrotate 配置略,见本系列日志管理篇)
# 4. 回看指标确认恢复iostat -x 1 3# await 回到 0.8ms,%util 12%整个过程没重启整机、没瞎试参数,四条线排除三条、在第四条线上走到底,并且留下了明确根因和防再犯措施——这就是分线排查的价值。
八、症状速查表
| 症状 | 先看哪条线 | 关键命令 | 典型元凶 |
|---|---|---|---|
| 整机卡顿、命令都慢 | CPU → IO | uptime、top 看 wa | 任务打满 CPU、磁盘被写满 |
| load 很高但 CPU 不高 | IO | iostat -x 1、ps 看 D 状态 | 磁盘排队、存储故障、NFS 无响应 |
| 服务进程半夜消失 | 内存 | dmesg -T | grep -i "killed process" | OOM Killer、内存泄漏 |
| 越跑越慢、重启就好(几天后复发) | 内存 | ps aux --sort=-%mem、vmstat 1 看 si/so | 内存泄漏、连接/句柄泄漏 |
| 网站慢但机器很闲 | 网络 | ss -s、netstat -s 看重传 | 链路丢包、连接堆积、带宽跑满 |
| 某个端口连接不上、新连接被拒 | 网络 | netstat -s 看 listen overflow | 监听队列满、程序 accept 太慢 |
| 磁盘空间没满却写不了文件 | IO | df -i | inode 耗尽(小文件太多) |
九、什么时候该扩容,而不是优化
排查的终点不总是”改个参数就好了”。出现下面这些信号,说明瓶颈是规格本身,继续优化是浪费时间:
- 某条线的水位长期(以周为单位)处在高位:CPU 使用率常年 80% 以上、内存 available 常年见底、磁盘 await 在业务低峰也降不下来;
- 已经确认没有异常进程、没有泄漏、没有配置错误,吃资源的都是正经业务;
- 流量和数据量的增长曲线明确,现有规格按当前增速撑不过一两个月。
这时候正确的动作是升配、拆分服务或加机器。反过来,突发异常先排查再扩容——给一台被日志打满 IO 的机器升配,只会得到一块更贵的、继续被打满的盘。
小结
- 排障先讲方法论:确认症状、范围、时间和趋势,再按 CPU → 内存 → IO → 网络四条线逐条排除;
load高不等于 CPU 高,D 状态进程一样计入负载,top里的wa是分流到 IO 线的信号;- 看内存只看
available,buff/cache不是被吃掉;进程消失先去dmesg找 OOM 证据; - 看磁盘最终看
await而不是%util;D 状态堆积说明请求在等存储返回,杀进程没用; TIME_WAIT多半无害,CLOSE_WAIT堆积基本是应用没关连接的代码问题;- 处置完要留根因和防再犯措施;水位长期高位且无异常,就是该扩容的信号,别和规格硬耗。
下一篇是本系列的收官篇:《Linux 安全巡检清单》,把前面各篇的安全要点汇成一张可以逐项打勾的检查表。