4781 字
24 分钟
系统救援与启动排障
2026-11-15

系统救援与启动排障#

这是本系列的最后一篇,讲的是一件谁都不想遇上、但迟早会遇上的事:服务器起不来了。重启之后 SSH 连不上,面板上点重启也没用,屏幕(或者云厂商的控制台)上停着一堆看不懂的报错。这一刻最容易做的事是慌,最该做的事是按顺序排查。

好消息是,Linux 起不来的原因翻来覆去就那么几类:启动配置文件写错、磁盘满了、内核升级翻车、文件系统损坏。本篇的主线就是这四类——先用一张启动流程图把「卡在哪一步」定位出来,再逐个给出修法:fstab 写错怎么救、磁盘满怎么腾、怎么从 GRUB 进单用户模式、实在不行怎么用 Live 介质 chroot 进去修。最后一节是一份预防清单,把整个系列讲过的纪律串起来——因为救援的最高境界,是根本用不上救援。

一、先立规矩:救援时的三条总原则#

动手之前,先把三条原则刻在脑子里。救援现场最贵的学费,几乎都不是「不会修」,而是「修的时候又捅了新篓子」。

第一,先看日志和报错,再动手。 屏幕上滚过去的每一行字都是线索:卡在哪个阶段、哪个服务报了什么错、内核有没有 panic。先拍照或截图(云控制台一般有截图功能),再开始敲命令。凭感觉乱试的结果,是把一个小问题试成三个问题,最后连原始现场都没了。

第二,改任何关键文件之前先备份。 这里说的关键文件包括 /etc/fstab、网络配置、SSH 配置、GRUB 配置。备份动作只需要一条命令:

Terminal window
cp /etc/fstab /etc/fstab.bak.$(date +%F)

十秒钟的事,能在你改错之后把系统一键还原回「只是起不来」而不是「彻底救不回」。救援时禁止不留备份直接改系统关键文件,这条没有例外。

第三,云服务器先确认控制台通道可用。 云上的机器没有显示器和键盘,你的双手就是厂商提供的 VNC 控制台、串口控制台或者救援模式入口。平时用不上,但真出事时这是唯一的门。买了新云服务器之后,花两分钟登录一次控制台确认能进、密码对——别等机器起不来那天,才发现控制台还要工单开通。

把这三条记住,下面进入正题。

二、启动流程速通:先知道卡在哪一步#

定位故障的第一步,是知道 Linux 的启动是一条什么样的流水线。整条链可以拆成四个阶段,每个阶段卡住时的表现完全不同,对照着看,故障范围立刻缩小一半。

阶段负责什么卡住时的典型表现
固件(BIOS/UEFI)硬件自检、找到启动盘、加载引导程序黑屏、无任何 Linux 字样、提示找不到启动设备
GRUB显示启动菜单、加载选定的内核与 initramfs停在 grub> 或 grub rescue> 提示符、菜单里找不到系统
内核 + initramfs内核初始化硬件、挂载根文件系统、移交控制权滚动一堆内核日志后停住、Kernel panic、掉进 initramfs 的 (initramfs) shell
systemd按 target 拉起全部服务、挂载 fstab、开 SSH进了 emergency mode、某个服务反复失败、能 ping 通但 SSH 不通

几个判读要点:

  • 连 GRUB 菜单都没见到,问题在固件或引导层面:启动盘顺序错了、引导记录坏了、或者(云上)系统盘根本没挂上。
  • 见到 GRUB 菜单、选完内核就黑屏或 panic,问题多半在新内核本身,或者 initramfs 没生成好——这是内核升级翻车的典型长相,后面第七节专门讲。
  • 掉进 (initramfs) 提示符,说明内核起来了但挂不上根文件系统:根分区 UUID 对不上、文件系统损坏、或者 LVM/加密卷没解锁。
  • 能进系统但在 emergency mode 停住,多半是 fstab 里某块盘挂不上,或者某个关键服务启动失败——这是最常见也最容易修的一种。

云服务器还有一个特殊点:很多厂商的控制台默认不显示 GRUB 菜单,或者菜单只闪 1 秒。遇到「控制台一片黑、但机器 ping 得通」时,先别断定系统死了,可能只是显示输出去了串口或者菜单已经过去了。

三、看启动日志:系统自己写的病历#

只要还能进到任何一种 shell(正常系统、rescue 模式、emergency 模式都行),第一件事就是翻日志。journalctl 是 systemd 的日志工具,启动排障有三个参数必须会:

Terminal window
# 看本次启动的日志,只看错误级别以上的
journalctl -xb -p err
# 看上一次启动的日志(这次就是被上次的故障重启进来的)
journalctl -b -1 -p err
# 列出系统里留存了几次启动的记录
journalctl --list-boots

-x 会给日志条目附上解释说明,排障时很有用;-b -1 是精髓——机器起不来被你强制重启之后,本次启动的日志里什么都没有,上一次卡死时的日志才是案发现场。

如果系统停在半路进不了 shell,还有两个 systemd 自带的避难所,名字很像,务必分清:

模式是什么能干什么
rescue 模式(rescue.target)单用户模式:根文件系统已挂载读写,基础服务就位,网络等服务大多没起改配置、修服务、查日志,日常救援的主力
emergency 模式(emergency.target)紧急模式:只挂载了根文件系统且常常是只读,连 journal 都可能不完整最后的落脚点,通常是系统自动掉进来的,先 remount 读写再动手

系统在启动失败时自动把你扔进 emergency mode 并提示 Give root password for maintenance,输入 root 密码就能进 shell——这不是系统坏了,这是它在向你求救,第五节马上就会用到。

四、死法一:fstab 写错,进了 emergency mode#

这是新手和老手都会中的招:给服务器加了一块数据盘,往 /etc/fstab 里写了一行,重启——起不来了。原理很简单:systemd 在启动时会严格按 fstab 挂载所有文件系统,fstab 里任何一行挂载失败,启动就会中断并掉进 emergency mode,哪怕失败的只是一块无关紧要的数据盘。

常见写错姿势有三种:设备名写错(/dev/sdb1 重启后变成了 /dev/sdc1)、UUID 抄错一位、文件系统类型填错。症状也高度一致:控制台上先刷 A start job is running for /dev/disk/by-uuid/...,等一分半钟超时,然后提示进入 emergency mode。

修复步骤如下。先用 root 密码进 emergency shell,然后:

Terminal window
# 根文件系统在 emergency 模式下通常是只读的,先改成读写
mount -o remount,rw /
# 把 fstab 备份一份,再打开编辑
cp /etc/fstab /etc/fstab.bak
nano /etc/fstab

把出问题的那一行先注释掉(行首加 #),存盘退出。然后不要急着重启,先验证:

Terminal window
# 按当前 fstab 试挂一遍,有错会当场报出来
mount -a
# 验证没问题后退出 emergency shell 继续启动,或直接重启
exit
# 或
reboot

系统正常起来之后,再回头把那行配置改对:设备一律用 UUID 写(blkid 查),不要写 /dev/sdX 这种会漂移的名字。

预防这一招只需要养成两个习惯。第一,每次改完 fstab,重启前必跑一次 mount -a,它按 fstab 全量试挂,报错当场可见,这时改回来毫无代价。第二,给非系统盘的那一行加上 nofail 选项:

UUID=xxxx-xxxx /data ext4 defaults,nofail 0 2

nofail 的意思是这块盘挂不上也别拦着系统启动——数据盘缺席总比整机躺平强。

WARNING

改 fstab 之前先想清楚一件事:云服务器的系统盘在 fstab 里通常只有根分区一行,凡是自己后加的行,出事概率最高。改完不验证就重启,等于把排障现场从「工位上」搬到了「控制台里」。

五、死法二:磁盘满,服务集体起不来#

第二种死法不那么戏剧化,但更常见:磁盘在某个深夜被日志或缓存撑满,然后数据库起不来、Docker 起不来、SSH 登录卡半天、甚至连日志都写不进去——因为记录「磁盘满了」这件事本身也需要写日志。表现是系统能进、能 ping,但一堆服务状态是 failed,journalctl -xb -p err 里满屏 No space left on device。

处理思路是先腾地方,再谈根治。找大户的命令在磁盘管理篇已经详细讲过,这里只给救援现场的最速路径:

Terminal window
# 先看每个挂载点满到什么程度
df -h
# 从根目录往下逐层找最大的目录
du -xhd1 / | sort -h
# 日志是头号嫌疑犯,看 journal 占了多少
journalctl --disk-usage

应急清理时有明确的安全边界。可以放心清的:过期的 journal 日志(journalctl --vacuum-time=3d 只保留 3 天)、包管理器缓存(apt clean)、/tmp 里的陈旧临时文件、明确是自己业务产生的旧备份和旧日志归档。绝对不能为了腾空间去删不认识的文件,尤其是 /var/lib 下数据库的原始数据文件、别人的业务目录——磁盘满是故障,把数据删了就是事故。

腾出几个 GB 之后,把失败的服务拉起来并确认恢复:

Terminal window
systemctl --failed
systemctl restart <服务名>
df -h

最后别忘了回头找根因:到底是日志没轮转、备份没清理还是业务文件无限增长。磁盘篇(/posts/linux-disk-management/)里讲的日志轮转与配额,才是这一节的治本部分——救援只是把你从坑里拉出来,不爬第二次得靠日常纪律。

六、从 GRUB 进单用户:没有密码也能修#

如果系统进不去的原因是 root 密码忘了、SSH 配置改坏、或者某个服务把启动拖死,你需要绕过正常启动流程,直接以最高权限进系统。入口在 GRUB 菜单:开机时让菜单停住(云上要在控制台里抢那几秒,物理机按住 Shift 或狂按 Esc),选中启动项后按 e 进入编辑界面。

有两种改法,任选其一。

姿势一:切到 rescue 目标。 找到以 linux 开头的那一行,在行尾加上:

systemd.unit=rescue.target

按 Ctrl+X 或 F10 启动,系统会进单用户救援模式,要求输入 root 密码。

姿势二:直接换 init。 同样在 linux 行尾,把参数改成:

init=/bin/bash

这种姿势连 systemd 都不启动,直接给你一个 root 的 bash,连密码都不问——它适合连 root 密码都忘了的情况,代价是进去之后什么服务都没有,根文件系统还是只读的,第一条命令必须是:

Terminal window
mount -o remount,rw /

改完密码或配置后,不能用普通方式重启(因为 PID 1 就是 bash 本身),要这样收尾:

Terminal window
sync
mount -o remount,ro /
reboot -f
WARNING

init=/bin/bash 不问密码这件事是把双刃剑:你能用它救自己的机器,任何能碰到你控制台的人也能用它进你的系统。所以云控制台的账号密码、物理机房的门禁,和 root 密码是同一级的安全资产。救完之后,检查一遍 GRUB 是否需要设置密码保护,心里有数即可,别因噎废食把自己的救援通道堵死。

两种姿势的选择:记得 root 密码、只是想跳过坏服务进系统,用姿势一,环境完整好干活;密码忘了或者 systemd 本身出了问题,用姿势二,进去先 remount 读写再修。

七、内核翻车:新内核起不来,先回旧的#

第三种死法通常发生在系统更新之后:apt upgrade 装了新内核,重启,新内核 panic 或者直接黑屏。这种情况反而最好办,因为 Debian 在升级内核时默认保留旧内核,GRUB 菜单里就能选回来。

操作就三步:开机进 GRUB 菜单(云控制台里抢时间,必要时在 /etc/default/grub 里把 GRUB_TIMEOUT 改大一点,但那是事后的事),选「Advanced options for Debian GNU/Linux」,里面列着所有已安装的内核,选上一个版本号的旧内核启动。能正常进系统,就先确认了故障范围:坏的是新内核,不是你的数据和配置。

进去之后的处理原则:

  • 先别删新内核,也先别急着再升级,让系统在旧内核上稳定跑着;
  • 查新内核的安装过程有没有报错(dpkg -l | grep linux-image、看 /var/log/apt/ 的记录),常见原因是 initramfs 生成失败,update-initramfs -u -k <版本号> 重新生成一次再试;
  • 如果决定固定使用旧内核,可以调整 GRUB 默认启动项,但这是临时措施,新内核的问题(比如某个驱动回归)该跟踪还得跟踪。

反过来有一条铁律:在新内核没有成功启动并稳定运行之前,永远不要卸载旧内核。旧内核占不了多少磁盘,它是你升级翻车时唯一的回头路。真要清理老内核,也只清理比「当前在用」和「上一个可用」更老的那些。

Terminal window
# 查看当前正在运行的内核
uname -r
# 查看所有已安装的内核
dpkg -l | grep linux-image
# 改完 GRUB 相关配置后,记得更新菜单
update-grub

八、终极手段:Live 介质 chroot#

前面几招的前提都是「系统还能进到某种 shell」。如果连 GRUB 都坏了、根文件系统损坏到 initramfs 都挂不上,那就只剩最后一招:用另一套系统启动,把故障盘挂上来当数据盘修。

物理机上这叫 Live USB 启动;云服务器上对应的是厂商提供的救援模式(Rescue Mode)——本质完全一样:平台用一个临时系统(通常是内存里跑的 Linux)启动你的实例,你的系统盘则作为一块普通数据盘挂在旁边。阿里云、腾讯云、Vultr、Hetzner 等厂商都有这个功能,入口一般在实例的控制台里,开启后会给一个临时 root 密码。

流程梗概如下。进入救援系统后:

Terminal window
# 1. 找到你的系统盘并挂载(设备名以 lsblk 实际输出为准)
lsblk
mount /dev/vda1 /mnt
# 如果根目录在 LVM 或单独的分区上,先激活卷组再挂载
# vgscan && vgchange -ay
# 2. 如果有独立的 boot 分区,一并挂上
mount /dev/vda2 /mnt/boot # 视实际分区情况而定,没有就跳过
# 3. 把救援系统的运行时目录 bind 进去,chroot 后才能正常用网络和设备
mount --bind /proc /mnt/proc
mount --bind /sys /mnt/sys
mount --bind /dev /mnt/dev
# 4. 切根进去——从现在起,你就在故障系统里了
chroot /mnt
# 5. 该修什么修什么:重装坏掉的包、改配置、重装引导
apt install --reinstall <坏掉的包>
update-grub
grub-install /dev/vda
exit

修完之后退出 chroot,卸载挂载,退出救援模式用正常方式启动实例,再去控制台确认能正常进系统。

WARNING

chroot 救援里最容易翻车的点是挂错分区:救援系统里看到的设备名和实例正常启动时的设备名可能不一致。动手前用 lsblk -f 看清每块盘的 UUID 和文件系统,拿 UUID 和你平时记录的系统盘信息对上号,再 mount。挂错盘修一通,轻则白忙,重则把好的那块盘改坏。

这一招门槛看着高,但它恰恰说明了一件事:只要盘上的数据还在、你手里有控制台和救援通道,Linux 几乎没有「救不回来」的死法。真正的死局只有一种——盘坏了且没备份。那不属于本篇的范畴,那是备份篇要解决的问题。

九、预防清单:把整个系列收成十条纪律#

写到这里,这个系列从新机初始化一路讲到了系统救援。回头看,所有「起不来」的故事,源头都是某个日常动作里少做了一步。把分散在各篇的纪律汇总成一张清单,贴在你的运维笔记第一页:

#纪律对应篇目
1改 fstab 后重启前必跑 mount -a 验证,非系统盘加 nofail本篇 / 磁盘篇
2改 SSH、网络、防火墙配置时保留一个已登录的会话,新会话连得上再关旧的SSH 加固篇 / 防火墙篇
3任何关键配置文件,改前先 cp 一份带日期的备份本篇
4新内核没稳定运行前不删旧内核本篇
5磁盘使用率上监控告警,别等满了才知道监控篇 / 磁盘篇
6日志开轮转,journal 设上限日志篇
7云服务器到手先测一遍控制台与救援模式能不能进本篇 / 新机初始化篇
8关键机器做重大变更前先打快照备份篇
9备份要定期做恢复演练,没验证过的备份等于没备份备份篇
10每次故障处理完写三行复盘:原因、修法、防复发动作性能排障篇

这十条里没有一条需要高深技术,全是习惯。运维的水平差距,大多不在会不会修,而在让不让故障有机会发生。

小结:完结篇#

从第一篇新机初始化开始,这个系列走完了一个完整的闭环:一台服务器从裸机上架、SSH 加固、防火墙、systemd、磁盘、日志、监控、备份、性能排障、安全巡检,一路到日常管理的方方面面,最后回到这一篇——当所有防线都没拦住、机器真的起不来时,怎么把它救回来。

最后把救援的心法压缩成三句,留给你贴在控制台旁边:

  1. 先定位,后动手:对照启动流程四阶段和上一次的启动日志,把故障圈进最小的范围;
  2. 先保命,后治病:备份再改、旧内核别删、控制台先确认——所有动作都留回头路;
  3. 修好不是终点:找到根因、补上预防动作,这次故障才算真正结案。

Linux 运维这套东西,学的时候是命令和配置,用的时候是纪律和心态。愿你的服务器永远用不上这一篇——如果用上了,愿你翻开它时足够冷静。

—— Linux 服务器运维系列 · 全 23 篇,完结。

系统救援与启动排障
https://www.anexns.cloudns.org/posts/linux-system-rescue/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0