服务器运维里最高频的动作之一,就是跟进程打交道:CPU 跑满了要找到是谁在吃、服务卡死了要把它结束掉、脚本跑一半想切到后台继续、某个进程怎么杀都杀不掉……这些场景背后其实只有三件事:看懂进程、发对信号、理清父子关系。这篇就围绕这三件事展开:先讲清进程的基本概念和 PID/PPID,再把 ps 与 top 的输出逐列读懂,然后讲信号体系——为什么结束进程要先发 TERM 再发 KILL、每个信号到底意味着什么,接着是前后台作业、nice 优先级,最后专讲两个最容易让人抓狂的问题:杀不掉的进程和僵尸进程。性能层面的整体排查思路,可以配合本系列的性能排障篇一起看。
一、进程是什么
一句话:进程就是正在运行的程序实例。你把一个程序从磁盘加载到内存、由内核调度着占用 CPU 执行,它就是一个进程。同一个程序可以同时跑出多个进程(比如开多个 ssh 会话),每个进程都有自己独立的内存空间和身份编号。
几个绕不开的概念:
- PID:进程的唯一编号,内核分配,从 1 开始递增。PID 1 在 systemd 系统上就是 systemd 本身,它是所有进程的老祖宗。
- PPID:父进程的 PID。每个进程都是被另一个进程”生”出来的(通过 fork/exec),父子关系构成了整棵进程树。
- 进程树:用
pstree可以把父子关系画出来,看清”谁拉起了谁”——这在排查”进程杀了又活”时是关键线索。
# 看进程树(-p 带 PID,-a 带命令行参数)pstree -ap
# 只看某个进程的子孙pstree -ap <PID>每个进程在 /proc 文件系统里都有一个以 PID 命名的目录,这是内核暴露的”进程档案室”,很多工具(包括 ps、top)的数据其实都来自这里。手动看一眼,能加深理解:
# 以 PID 1234 为例cat /proc/1234/status # 状态、内存、父进程、线程数等总览ls -l /proc/1234/exe # 这个进程实际执行的是哪个程序文件cat /proc/1234/cmdline | tr '\0' ' ' # 启动它的完整命令行ls -l /proc/1234/cwd # 它当前的工作目录ls /proc/1234/fd # 它打开了哪些文件/套接字WARNING
/proc/<PID>目录只在进程活着时存在,进程一退出目录就消失。排查转瞬即逝的短命进程时,不要指望事后去翻/proc。
二、查进程:ps 逐列读懂
ps 是最常用的查进程命令,但很多人只会敲 ps aux 然后对着一屏输出发呆。先把字段读懂,它才真正有用。
2.1 ps aux 的字段
ps aux输出示例(节选):
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMANDroot 1 0.0 0.3 168000 12400 ? Ss Nov10 0:32 /sbin/initwww-data 2451 12.5 4.1 985000 168000 ? S 09:12 3:47 nginx: worker process逐列解读:
| 列 | 含义 | 怎么看 |
|---|---|---|
| USER | 进程属主 | 排查权限问题先看它是谁在跑 |
| PID | 进程编号 | 后续 kill、查 /proc 都靠它 |
| %CPU | CPU 占用率 | 是进程生命周期内的平均值,不是瞬时值 |
| %MEM | 占物理内存百分比 | 配合 RSS 看实际占用 |
| VSZ | 虚拟内存大小(KB) | 申请了多少地址空间,参考意义有限 |
| RSS | 实际驻留物理内存(KB) | 判断内存大户看这个 |
| TTY | 所属终端 | ? 表示不依附终端(守护进程常见) |
| STAT | 进程状态 | 见后面第八节的状态码表 |
| START | 启动时间 | 判断进程是不是刚被拉起的 |
| TIME | 累计占用的 CPU 时间 | 一直涨说明一直在烧 CPU |
| COMMAND | 启动命令 | 带方括号的是内核线程 |
2.2 ps -ef 与 aux 的区别
ps -efps -ef 是另一种风格(UNIX 风格),字段是 UID、PID、PPID、C(CPU 占用)、STIME、TTY、TIME、CMD。它最大的价值是直接给出 PPID,追父子关系时比 aux 顺手。简单记:看资源占用用 aux,看谁生了谁用 -ef。
2.3 按资源排序,快速找大户
# 按 CPU 占用从高到低,前 10 个ps aux --sort=-%cpu | head -11
# 按内存占用从高到低,前 10 个ps aux --sort=-%mem | head -11
# 只看某个用户的进程ps -u www-data -f2.4 pgrep:按名字查 PID
脚本里要拿某个程序的 PID,不要再用 ps aux | grep xxx 这种容易误伤自己的老办法,用 pgrep:
pgrep nginx # 输出所有 nginx 进程的 PIDpgrep -a nginx # 连完整命令行一起输出pgrep -u root sshd # 限定属主pidof nginx # 同类工具,只输出 PID 列表三、top 深用:看实时动态
ps 是快照,top 是直播。top 里最有价值的是顶部汇总区,逐行读懂它,机器的健康状况一眼就有数。
top - 10:23:41 up 12 days, 3:07, 2 users, load average: 1.85, 1.20, 0.76Tasks: 132 total, 1 running, 131 sleeping, 0 stopped, 0 zombie%Cpu(s): 25.3 us, 6.1 sy, 0.0 ni, 67.2 id, 1.1 wa, 0.0 hi, 0.3 si, 0.0 stMiB Mem : 3924.3 total, 412.5 free, 2210.8 used, 1301.0 buff/cache- load average:最近 1、5、15 分钟的平均负载,即”平均有多少进程在等 CPU 或在跑”。经验值:持续超过 CPU 核数,说明 CPU 开始排队了。三个数从高到低回落,说明压力在缓解;反之在积压。
- Tasks:进程总数与各状态计数。重点扫一眼 zombie 是不是 0。
- %Cpu(s):这一行最容易被忽略,但信息量最大。
us是用户态占用,sy是内核态占用,id是空闲率,wa是等 I/O 的时间占比——wa持续很高而us不高,瓶颈在磁盘不在 CPU。st是虚拟化环境里被宿主机”偷走”的时间,云服务器上这个值高,说明邻居在抢资源或套餐超卖。
进程列表区常用交互键:
| 按键 | 作用 |
|---|---|
P | 按 %CPU 排序 |
M | 按 %MEM 排序 |
k | 结束选中的进程(会提示输 PID 和信号) |
r | 对进程 renice 改优先级 |
1 | 展开每个 CPU 核的占用 |
q | 退出 |
只关心某个进程时,不必开着整个 top:
top -p 2451 # 只盯一个 PID(多个用逗号分隔)top -H -p 2451 # 展开到线程级别,看是哪条线程在忙top -b -n 1 | head -20 # 批处理模式打一帧就走,适合写进脚本htop 是更好看的增强版(彩色、可鼠标点、可滚动),Debian 上 apt install htop 即可,日常巡检推荐用它,但救命时刻系统里不一定装了,top 的基本功还是得有。
四、信号体系:结束进程的”语言”
进程之间、用户与进程之间,用**信号(signal)**通信。kill 命令的本质不是”杀”,而是”给进程发一个信号”。理解信号,才能理解为什么有的进程一杀就死、有的纹丝不动。
4.1 常用信号表
| 编号 | 名称 | 默认动作 | 语义与程序的典型反应 |
|---|---|---|---|
| 1 | HUP | 终止 | 原意是”终端挂断”。很多守护进程借它表示”重读配置文件”(如 nginx、sshd 收到 HUP 会重新加载配置而不退出) |
| 2 | INT | 终止 | 终端上按 Ctrl+C 发的就是它,程序可以捕获并做收尾 |
| 3 | QUIT | 终止并生成 core dump | Ctrl+\ 触发,比 INT 更”硬”,退出时留下内存快照供调试 |
| 9 | KILL | 立即终止 | 不可捕获、不可忽略,内核直接回收进程,程序没有任何收尾机会 |
| 15 | TERM | 终止 | kill 的默认信号。礼貌地通知”请退出”,程序可捕获后保存数据、释放资源再自行结束 |
| 18 | CONT | 继续 | 把被 STOP 暂停的进程恢复运行 |
| 19 | STOP | 暂停 | 不可捕获,进程被冻结在原地(Ctrl+Z 发的是 TSTP,效果类似但可捕获) |
| 10/12 | USR1/USR2 | 终止 | 留给程序自定义的两个信号,不同软件约定不同,用前必须查该软件的文档 |
查看完整信号列表:kill -l。
4.2 为什么”先 TERM 后 KILL”是纪律
因为 TERM 给了程序体面收尾的机会:数据库刷盘、Web 服务处理完手头请求、程序删掉自己的临时文件和锁文件。而 KILL 是内核直接抹除,正在写盘的数据可能只写了一半,锁文件、PID 文件会残留,数据库下次启动要先做崩溃恢复,极端情况下数据直接损坏。
标准操作顺序:
kill <PID> # 第一步:发 TERM(默认就是 15,可以不写 -15)sleep 3 # 给它几秒钟收尾ps -p <PID> # 还在吗?kill -9 <PID> # 确实不肯退,最后才用 KILLWARNING对数据库、消息队列这类有状态服务,
kill -9应该是最后手段而不是顺手动作。生产环境里因为图省事直接-9引发的数据问题,远比”多等三秒”代价大得多。
还有一个细节:信号是发给进程的,但只有进程的属主(或 root)能给它发信号,普通用户对别人的进程执行 kill 会得到 Operation not permitted,这是权限设计,不是命令坏了。
五、结束进程:kill、pkill、killall
5.1 三个工具的差别
| 工具 | 定位方式 | 适合场景 | 风险 |
|---|---|---|---|
kill | 按 PID | 精确结束已确认的进程 | 最低,前提是 PID 没认错 |
pkill | 按进程名/模式匹配 | 一批同名进程一起处理,如 pkill -f worker | 匹配范围靠模式,写宽了会误伤 |
killall | 按进程名精确匹配 | 结束某程序的全部实例,如 killall nginx | 名字对得上的全杀,不分会话不分用户(root 执行时) |
kill 2451 # 给单个 PID 发 TERMkill -9 2451 2452 # 可以一次给多个 PID 发pkill -TERM -u www-data php-fpm # 给某用户的某类进程发 TERMkillall -w nginx # -w 会等到进程全部退出才返回5.2 下手之前的核查顺序
结束进程是不可逆操作,尤其在生产服务器上,养成固定的核查顺序:
- 确认 PID 对应的到底是什么:
ps -p <PID> -o pid,ppid,user,etime,cmd,把命令行看全,别凭印象。 - 确认它是不是服务的主进程:如果是 systemd 管的服务,优先用
systemctl stop(原因见第九节),而不是 kill。 - 先 TERM,等一等,复查:
ps -p <PID>还在,再考虑升级到 KILL。 - 批量操作先 dry-run:用
pgrep -a <模式>或pkill前先把匹配列表打出来看一遍,确认没有误伤,再真正发信号。pkill本身不带预览,pgrep -a就是它的预览。
WARNING
pkill -f按完整命令行匹配时,模式写得太宽(比如只写java、python)可能把无关进程甚至你自己的 shell 一起匹配进去。批量发信号前务必先用同样的模式跑一遍pgrep -af核对清单。
六、前后台作业:让进程在终端里”排队”
在 shell 里直接运行命令,它默认占据前台:终端被它霸占,你敲什么都进不去,直到它结束。作业控制就是把进程在前台、后台、暂停之间挪来挪去的一套机制。
6.1 基本操作
./long-task.sh & # 命令末尾加 &,直接在后台启动,shell 立刻空出来jobs # 查看当前 shell 的后台作业列表(带作业号 %1、%2)fg %1 # 把 1 号作业调回前台bg %1 # 让已暂停的 1 号作业在后台继续前台正在跑的进程,可以这样处理:
- 按 Ctrl+Z:把当前前台进程暂停(发送 TSTP 信号),shell 拿回来,进程冻在原地不继续跑;
- 然后
bg让它在后台继续,或fg拉回前台接着跑。
注意区分:Ctrl+Z 只是暂停,不接着处理它,它就一直停在那儿——很多人以为 Ctrl+Z 是”转入后台”,其实少了 bg 这一步,进程根本没在运行。
6.2 关掉终端进程也别死:nohup 与 disown
后台作业仍然挂在当前 shell 名下,退出登录(终端关闭)时,shell 会给它的作业发 HUP 信号,进程通常就跟着死了。想让进程脱离终端存活:
nohup ./long-task.sh > task.log 2>&1 &nohup 的作用是让进程忽略 HUP 信号;同时记得把输出重定向到文件,否则输出会写进当前目录的 nohup.out,而且终端关闭后无处可写也可能出问题。
已经在跑的进程忘了加 nohup,可以用 disown 补救:先 Ctrl+Z 暂停,bg 转后台,再 disown -h %1 把它从 shell 的作业表里摘除,退出登录时就不会被连带发送 HUP。
WARNINGnohup 只是”关终端不死”,它不是守护进程工具:没有自动重启、没有日志管理、开机也不会自启。长期运行的服务应该交给 systemd,见本系列的 systemd 服务管理篇。
七、优先级:nice 与 renice
机器资源紧张时,可以通过 nice 值影响进程的 CPU 调度优先级:nice 值越低,优先级越高,越优先被调度。
- 取值范围:-20(最高优先级)到 19(最低优先级),默认是 0。
- 方向记法:nice 值越”不友好”(数值越低)越抢 CPU;给进程调高 nice 值,就是让它”礼让”别人。
- 权限:普通用户只能调高自己进程的 nice 值(降低优先级),调低 nice 值(提优先级)只有 root 可以。
# 以低优先级启动一个吃 CPU 的任务,让它别跟在线业务抢nice -n 10 ./compress-backup.sh
# 对已经在跑的进程调整(renice 新值 PID)renice 5 2451
# 在 top 里看 NI 列就是 nice 值,PR 是内核实际调度优先级需要泼一盆冷水:nice 只影响 CPU 调度,对内存不够、磁盘 I/O 打满这类瓶颈基本无能为力。进程慢是因为在等磁盘时,把它的 nice 调到 -20 也不会快一分。先用 top 确认瓶颈在 CPU(us/sy 高、wa 低),nice 才是对症的工具;瓶颈定位的方法见性能排障篇。
八、进程状态码:R/S/D/Z/T 各是什么意思
ps 的 STAT 列和 top 的 S 列,第一个字母就是进程状态,这是判断进程”活得怎么样”的核心信息:
| 状态 | 名称 | 含义 | 常见程度 |
|---|---|---|---|
| R | Running | 正在 CPU 上运行,或在运行队列里等 CPU | 正常 |
| S | Sleeping | 可中断的睡眠,在等某个事件(网络数据、用户输入、定时器) | 最常见,绝大多数进程平时都是 S |
| D | Disk Sleep | 不可中断的睡眠,通常在等磁盘 I/O 完成 | 少量短暂出现正常,大量长期存在是磁盘/存储故障信号 |
| T | Stopped | 被暂停(收到 STOP/TSTP,或被调试器断住) | Ctrl+Z 后就是它 |
| Z | Zombie | 进程已退出,但父进程还没来回收它的退出状态,只剩一个空条目 | 异常,见下文 |
STAT 里后续的附加字符也顺带认识一下:< 高优先级、N 低优先级、s 会话首领、l 多线程、+ 位于前台进程组。
8.1 D 状态:为什么杀不掉
D 状态的进程在内核里等 I/O 操作返回,这段等待不可中断——连 KILL 信号都只能挂起等着,信号要等它从 D 状态出来才会被处理。所以你对一个 D 状态进程 kill -9,它毫无反应,不是命令失效,而是它正卡在内核里出不来。
D 状态的根因几乎都在存储侧:磁盘坏道、NFS/网络存储失联、存储驱动卡死。处理思路是修存储而不是跟进程较劲:
# 找出所有 D 状态进程ps aux | awk '$8 ~ /^D/'
# 看内核日志有没有 I/O 报错dmesg | tail -30偶尔一两个 D 状态一闪而过是正常的;如果持续出现一堆,优先怀疑磁盘健康和挂载的网络存储。
8.2 Z 状态:僵尸进程的处理
僵尸进程的真相是:子进程已经死了,但父进程还没有调用 wait() 来领取它的退出状态,内核只能先在进程表里留一个空壳占位。僵尸不占 CPU、不占内存(只占一个 PID 名额),但它赖着不走,且你杀不掉它——它已经死了,kill 对一具”尸体”发信号毫无意义。
正确处理对象是它的父进程:
# 找到僵尸和它的父进程ps aux | awk '$8 ~ /^Z/'ps -o pid,ppid,cmd -p <僵尸的PPID>
# 方法一:给父进程发 SIGCHLD,提醒它去收尸(有些程序会响应)kill -SIGCHLD <PPID>
# 方法二:父进程本身有问题、无响应时,只能重启或结束父进程# 父进程一死,僵尸会被 PID 1(systemd)收养并自动回收WARNING不要试图用
kill -9去”杀”僵尸进程,那只会让你误以为命令坏了。少量僵尸可以暂不处理,但如果僵尸持续堆积成百上千,说明父进程的逻辑有缺陷(生了子进程却不回收),根治办法是修父进程或重启它,否则 PID 名额耗尽后系统将无法创建新进程。
九、进程与服务的关系:systemd 管的别硬杀
服务器上的长期进程,大多是 systemd 拉起的服务单元。用 kill 直接结束这类进程,会出现两个问题:一是 systemd 发现进程”意外死亡”,按单元的重启策略立刻把它重新拉起来,你以为杀掉了,它转眼又活了;二是绕过了单元定义的停止流程(ExecStop、依赖顺序、资源回收)。
所以纪律是:凡是 systemctl status 能查到的服务,启停一律走 systemctl stop/start/restart,不要用 kill 硬来。判断某个 PID 归不归 systemd 管,一条命令即可:
# 看进程属于哪个 systemd 单元systemctl status <PID>
# 或从 /proc 的 cgroup 信息判断cat /proc/<PID>/cgroup服务管理的完整用法见本系列的 systemd 服务管理篇。
十、排障实战
10.1 CPU 100%:定位到具体进程与线程
# 第一步:top 看是谁在吃 CPU(按 P 排序)top
# 第二步:锁定嫌疑进程的静态信息ps -p <PID> -o pid,ppid,user,%cpu,%mem,etime,cmd
# 第三步:如果是一个多线程程序,展开看哪条线程在忙top -H -p <PID>ps -T -p <PID> -o pid,tid,%cpu,comm --sort=-%cpu | head确认线程后,再结合程序自身的日志、监控去判断它是正常忙(突发流量)还是异常忙(死循环、重试风暴)。不要一看到 CPU 高就 kill,先分清敌我。
10.2 内存大户与 OOM 被杀
内存被吃满时,内核的 OOM Killer 会挑一个进程杀掉腾内存,被杀的往往不一定是吃内存的元凶。查法:
# 按内存排序找大户ps aux --sort=-%mem | head -11
# 查系统日志里 OOM 的记录(谁被杀、当时内存全景)journalctl -k | grep -i -A5 "out of memory"dmesg | grep -i "killed process"Killed process 2451 (java) 这样的记录会明确写出被杀进程。找到之后要回头分析:是内存泄漏慢慢涨上去的,还是业务量真的超出了机器规格,对策完全不同。整体的内存分析方法在性能排障篇里有更完整的展开。
10.3 进程杀了又活
kill 完一刷新,进程换了个新 PID 又出现了——这不是闹鬼,是有人在守护它。按这个顺序查:
# 1. 先看父进程是谁(PPID),顺藤摸瓜ps -o pid,ppid,cmd -p <新PID>
# 2. 是不是 systemd 单元(最常见)systemctl status <新PID># 是服务就用 systemctl stop,想彻底不让它起来再加 mask/disable
# 3. 是不是被 cron、其他守护脚本定时拉起grep -r "程序名" /etc/cron* 2>/dev/null常见来源就三类:systemd 的 Restart= 策略、独立的监控/守护脚本、父进程的自动重生逻辑。找到守护者,从守护者下手,而不是反复杀进程本体。
小结
- 进程管理的三件套:看懂(ps/top)、发对信号、理清父子关系,绝大多数问题都在这三件事里。
ps aux看资源,ps -ef看父子;pgrep是脚本里查 PID 的正道,批量操作前先用它预览。- top 顶部汇总区要会读:load average 看排队,
%Cpu行的wa高说明瓶颈在磁盘。 - 信号是”语言”不是”武器”:先 TERM 给程序收尾的机会,KILL 是最后手段,尤其对有状态服务。
- Ctrl+Z 只是暂停,
bg才是转后台;长期任务用 nohup 防终端关闭,但正经服务要交给 systemd。 - nice 只治 CPU 排队,治不了 I/O 和内存瓶颈,别用错药。
- D 状态杀不掉是卡在内核 I/O,要修存储;Z 僵尸杀不掉是父进程没收尸,要找父进程。
- systemd 管的进程杀了又活是正常设计,启停走
systemctl,不要跟守护机制对着干。