服务器上绝大多数信息都是文本:日志是文本,配置是文本,命令的输出也是文本。运维干久了你会发现,每天真正在做的事,一大半是「从一大堆文本里把有用的那几行捞出来」,或者「把一批文件里的某个值统一改掉」。干这两件事的工具很多,但绕来绕去,最后沉淀下来的就是这三个:grep、sed、awk,江湖人称「三剑客」。
这篇不打算把它们写成手册——手册有 man 页,而且写得比谁都全。这篇只讲运维场景里真正高频的那部分:grep 怎么把行定位出来,sed 怎么安全地批量改文件,awk 怎么把字段拆出来做统计,最后用三个完整实战把它们和管道串起来。学完这一篇,配合前面的日志管理篇,你在服务器上翻日志、改配置、做统计基本就不求人了。
先分工:谁找、谁改、谁算
三剑客经常被一起提,但它们的活儿分得很清。先把分工记住,后面选工具就不会纠结:
| 工具 | 一句话定位 | 擅长 | 不擅长 |
|---|---|---|---|
| grep | 找 | 按内容把符合条件的行筛出来 | 改文件、做计算 |
| sed | 改 | 按行批量替换、删除、插入文本 | 跨字段统计、复杂逻辑 |
| awk | 算 | 把行拆成字段,统计、求和、格式化输出 | 原地改文件(默认只输出) |
一个粗略的心智模型:数据是一条河,grep 是渔网,只捞符合特征的鱼;sed 是流水线上的加工台,东西过一遍就变个样;awk 是会计,把每条记录拆开记账,最后能出报表。
三者的边界就是:按行筛选用 grep,按行修改用 sed,按列计算用 awk。实际工作中它们很少单独出现,往往是一条管道里各干一段,这正是 Unix 的设计哲学——每个工具只做一件事,然后组合起来。
grep:先把行捞出来
grep 的名字来自编辑器命令 g/re/p(global regular expression print),干的事一句话:输出所有包含指定模式的行。最基础的用法:
grep "error" /var/log/app.log这会打印 app.log 里所有包含 error 的行。就这么简单,但实战中真正好用的是一批选项。
常用选项速查
| 选项 | 作用 | 典型场景 |
|---|---|---|
| -i | 忽略大小写 | 日志里 Error/ERROR/error 混写时 |
| -v | 反选,输出不包含的行 | 把已知噪音过滤掉看剩下的 |
| -n | 显示行号 | 定位后还要去编辑器里改那一行 |
| -c | 只输出匹配的行数 | 先看看量级,再决定怎么处理 |
| -r / -R | 递归搜索整个目录 | 在一堆配置里找某个值是谁配的 |
| -l | 只列出包含匹配的文件名 | 先圈范围,再逐个处理 |
| -A n | 连带输出匹配行后面 n 行 | 看报错之后的堆栈 |
| -B n | 连带输出匹配行前面 n 行 | 看报错之前的上下文 |
| -C n | 前后各 n 行(等于 -A n -B n) | 最常用的上下文查看方式 |
| -o | 只输出匹配到的部分,不输出整行 | 提取 IP、邮箱这类片段 |
| -a | 把二进制文件当文本处理 | grep 说 “Binary file matches” 时 |
几个例子感受一下:
# 忽略大小写数一下今天有多少条错误grep -ci "error" /var/log/app.log
# 看某次报错的完整上下文(前后各 5 行)grep -C 5 "OutOfMemory" /var/log/app.log
# 在整个配置目录里找谁写了 8080 这个端口grep -rn "8080" /etc/myapp/
# 排除掉健康检查的噪音,只看真实请求grep -v "healthcheck" /var/log/nginx/access.log还有个小习惯:让 grep 把匹配部分标红,肉眼扫起来快很多。很多发行版默认已经 alias 好了,没有的话自己加:
alias grep='grep --color=auto'把这行写进 ~/.bashrc 就长期生效。注意 --color=auto 只在输出到终端时上色,管道传给别的命令时自动关掉,不会污染数据,放心用。
模式不只是固定字符串
grep 的模式支持正则表达式。用 -E 开启扩展正则(等价于老命令 egrep),就能写「或」「重复」这类模式:
# 同时找 error 和 fatal 两种行grep -Ei "error|fatal" /var/log/app.log
# 找以数字开头的行grep -E "^[0-9]" data.txt
# 找包含 IP 形态的行(粗筛,够用)grep -E "[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+" access.log扩展正则里最常用的元字符就这么几个,后面正则一节统一交代。先记住一点:模式要用引号包起来,否则里面的 |、* 会被 Shell 先截胡解释,查出来的结果莫名其妙。
正则最小集:够用就停
三剑客共用正则表达式这门「语言」,但不需要你把正则学成一门课。运维日常里 95% 的场景,下面这个最小集就够了:
| 写法 | 含义 | 例子 |
|---|---|---|
^ | 行首 | ^Error 只匹配行首的 Error |
$ | 行尾 | fail$ 匹配以 fail 结尾的行 |
. | 任意一个字符 | a.c 能匹配 abc、aXc |
* | 前面的字符出现 0 次或多次 | ab* 匹配 a、ab、abb |
+ | 前面的字符出现 1 次或多次(需 -E) | [0-9]+ 匹配一串数字 |
[] | 字符集,匹配其中任意一个 | [0-9] 一个数字,[a-z] 一个小写字母 |
[^] | 取反字符集 | [^0-9] 一个非数字字符 |
| | 或(grep -E 里直接写 |) | error|warn 二选一 |
\b | 单词边界 | \broot\b 只匹配独立的 root 这个词 |
关于 \d 要特别说明一句:grep 和 sed 的正则里没有 \d 这个写法。\d 是 Perl 风格正则的简写,想表示数字就老老实实写 [0-9];表示空白用 [[:space:]] 或直接写空格和 \t。很多人在这儿栽过跟头——从网上抄来的 \d+ 在 grep 里要么报错要么匹配不到东西,还以为是数据的问题。用 grep 时需要 \d 语义,可以加 -P 让它走 Perl 正则引擎:
grep -P "\d+\.\d+\.\d+\.\d+" access.log但 -P 不是所有环境都有(精简系统、容器镜像里可能缺),脚本里要跨机器跑的话,还是 [0-9] 最稳妥。
还有一个新手最容易混淆的点:正则里的 . 是「任意字符」,想匹配真正的点号(比如 IP 里的点)要写 \.。192.168.1.1 这个模式里的点能匹配任意字符,所以它连 192x168y1z1 也能匹配上——日常粗筛无所谓,要精确就写成 192\.168\.1\.1。
sed:按行批量加工
sed 是 stream editor(流编辑器):文本像水一样从它面前流过,它按规则加工后输出。最核心的命令是 s 替换:
sed 's/旧内容/新内容/' file.txt注意:这样只是把加工结果打印到屏幕,原文件不动。先看效果、确认无误,再考虑写回,这是用 sed 的基本纪律,后面会专门强调。
替换的细节:范围与标志
s 命令的完整形态是 s/模式/替换/标志,常用的标志:
# 默认只换每行第一个匹配,想全换要加 g(global)sed 's/localhost/127.0.0.1/g' hosts.txt
# 只换每行第 2 个匹配sed 's/:/-/2' data.txt替换之前往往要先圈定「对哪些行下手」,这叫地址定界,两种方式:
# 按行号:第 3 行到第 5 行sed '3,5s/old/new/g' file.txt
# 按模式:只改包含 [server] 的那一行附近……更常用的是直接定位包含特征的行sed '/^port/s/8080/9090/' app.conf
# 组合:从匹配 START 的行到匹配 END 的行之间都改sed '/START/,/END/s/old/new/g' file.txt除了替换,另一个高频动作是删除 d:
# 删掉空行sed '/^$/d' file.txt
# 删掉注释行sed '/^[[:space:]]*#/d' app.conf
# 删掉第 10 行到第 20 行sed '10,20d' file.txt分隔符冲突:换个分隔符就行
s 命令里 / 只是习惯用的分隔符,不是规定。替换内容本身带斜杠时——比如改路径——继续用 / 就得写一堆转义,丑且易错:
# 难读的写法sed 's/\/var\/www\/html/\/srv\/www/g' nginx.conf
# 换成 # 作分隔符,清爽sed 's#/var/www/html#/srv/www#g' nginx.conf分隔符可以是几乎任意字符,#、|、: 都常见。处理路径、URL 时默认换成 #,是老运维的肌肉记忆。
原地修改:-i 必须带备份
确认替换效果没问题后,用 -i 把结果写回原文件:
sed -i 's/8080/9090/g' app.confWARNING
sed -i是直接改源文件的,命令写错没有撤销键。养成铁律:永远写成sed -i.bak先留一份带 .bak 后缀的备份,确认改对了再删备份;批量改之前,先用不带-i的版本把输出打到屏幕上验一遍再执行。
# 安全姿势:改完留下 app.conf.baksed -i.bak 's/8080/9090/g' app.conf
# 验证没问题后清理备份rm app.conf.bakGNU sed(Linux 上的)和 BSD sed(macOS 上的)在 -i 的语法上有差异:macOS 上 -i 后面必须跟后缀参数,sed -i '' 's/.../.../' 才是 BSD 写法。在 Linux 服务器上写脚本不用管这事,但同一条命令想在自己 Mac 上也跑通时要留意。
awk:把行拆开算账
grep 和 sed 都是「整行」视角,awk 不一样:它把每一行按分隔符拆成若干字段,你可以直接引用第几个字段做判断和计算。这是它做统计的根基。
# 打印每行的第 1 个字段(默认按空白分隔:空格、制表符)awk '{print $1}' access.log字段的引用方式:
| 写法 | 含义 |
|---|---|
$0 | 整行 |
$1、$2 | 第 1、第 2 个字段 |
$NF | 最后一个字段(NF 是字段总数) |
$(NF-1) | 倒数第二个字段 |
NR | 当前是第几行(Number of Record) |
FNR | 当前文件内的行号(处理多文件时与 NR 区分) |
$NF 特别实用:日志格式里前面字段数不固定时,从尾巴数往往更稳。比如取每行最后一个字段做统计,比数清楚前面有多少列靠谱得多。
指定分隔符 -F
字段默认按空白切,遇到逗号、冒号分隔的数据要用 -F 指定:
# /etc/passwd 是冒号分隔,打印用户名和它的 shellawk -F: '{print $1, $7}' /etc/passwd
# CSV 文件取第 3 列awk -F, '{print $3}' data.csv
# 分隔符可以是多个字符或正则awk -F'[: ]+' '{print $2}' mixed.txt输出时 print $1, $7 里的逗号会让两个字段之间以空格(准确说是 OFS,输出字段分隔符)连接;写成 print $1 $7 则直接拼在一起,中间什么都没有。这个区别在拼路径、拼命令时经常用到。
模式 + 动作:awk 的骨架
awk 程序的基本结构是「模式 {动作}」:模式决定哪些行执行动作,模式省略就是每一行都执行。
# 只处理第 3 列大于 100 的行awk '$3 > 100 {print $1, $3}' data.txt
# 只处理包含 ERROR 的行(模式可以是正则)awk '/ERROR/ {print $1}' app.log
# 组合条件:状态码是 500 且路径带 /apiawk '$9 == 500 && $7 ~ /api/ {print $7}' access.log两个特殊模式要记住:BEGIN 在处理任何数据之前执行(常用来打印表头、初始化变量),END 在全部数据处理完之后执行(打印汇总结果)。
awk 'BEGIN {print "开始统计"} {count++} END {print "总行数:", count}' app.log求和与计数:两个万能模式
awk 做统计,翻来覆去就是两个套路。
计数模式——用数组当计数器:
# 统计每个状态码出现了多少次awk '{cnt[$9]++} END {for (code in cnt) print code, cnt[code]}' access.log这里 cnt[$9]++ 的意思是:以第 9 个字段(状态码)为下标的数组元素加一。END 里用 for 循环把数组遍历出来。注意遍历顺序是无序的,要排序就接管道给 sort,后面实战里会看到。
求和模式——用普通变量累加:
# 把第 10 列(响应字节数)全部加起来,算总流量awk '{sum += $10} END {print sum}' access.log
# 带条件求和:只算状态码 200 的流量awk '$9 == 200 {sum += $10} END {print sum}' access.log管道组合:sort、uniq 与三剑客
三剑客很少单打独斗。把它们串起来的胶水是管道 |,而管道里出镜率最高的配角是这三个:
| 工具 | 作用 | 关键选项 |
|---|---|---|
| sort | 排序 | -n 按数字排、-r 逆序、-k 指定按哪列排、-t 指定列分隔符 |
| uniq | 去重(需先排序) | -c 在每行前加上出现次数 |
| wc | 计数 | -l 数行数、-w 数词数、-c 数字节数 |
其中最经典的组合是 sort | uniq -c | sort -nr:先排序让相同行挨在一起,uniq -c 数出每种出现几次,再按数字逆序排,出现最多的自然冒到最前面。任何「统计 TOP N」的需求,骨架都是这一串,区别只在喂给它的数据是什么。uniq 有个脾气:它只合并相邻的重复行,所以前面必须先 sort,漏了这一步,去重和计数都会出错,这是新手最常见的翻车点之一。
实战一:统计访问日志 IP TOP 10
需求:Nginx 访问日志被打了,想看看来源 IP 都是谁,揪出请求量异常的那个。
Nginx 默认 combined 日志格式里,第 1 个字段就是客户端 IP。所以流程是:awk 取第 1 列 → sort 让相同 IP 挨到一起 → uniq -c 计数 → sort -nr 按次数倒序 → head 取前 10:
awk '{print $1}' /var/log/nginx/access.log \ | sort \ | uniq -c \ | sort -nr \ | head -10逐段拆开看:
awk '{print $1}':把每行的 IP 单独抽出来,现在数据是一长列 IP;- 第一个
sort:纯粹为 uniq 做准备,让相同 IP 相邻; uniq -c:输出变成「次数 IP」两列;sort -nr:-n按数字大小排(不加 -n 的话 “100” 会排在 “99” 前面,因为是按字符串比的),-r倒序,大数在前;head -10:只要前十名。
输出长这样:
15234 203.0.113.45 8912 198.51.100.7 3201 192.0.2.88第一名的请求量如果断层领先,大概率就是它了。这个骨架换个字段就能复用:把 $1 换成 $7 是请求路径 TOP,换成 $9 是状态码分布,换成 $12(User-Agent 字段,需注意带空格的字段切分问题)是客户端分布。关于访问日志各字段的含义和日志轮转,日志管理篇里有详细交代,可以对照着看。
实战二:批量改一批配置里的某个值
需求:/etc/myapp/ 下有十几个配置文件,里面的数据库地址全要从旧 IP 换成新 IP。手工逐个打开改,又慢又容易漏。正确姿势是三步走:先圈、再改、后核。
第一步,用 grep 的 -rl 先圈出到底哪些文件包含旧值(-r 递归,-l 只列文件名):
grep -rl "192.168.1.10" /etc/myapp/输出是一个文件清单。先看这份清单合不合理——有没有混进不该改的文件(比如某个 .md 说明文档里也提到了旧 IP,那就不该动它)。
第二步,对清单里的文件逐个执行 sed 替换。把 grep 的结果通过管道喂给 xargs:
grep -rl "192.168.1.10" /etc/myapp/ \ | xargs sed -i.bak 's/192\.168\.1\.10/10.0.0.20/g'注意两个细节:模式里的点写成了 \.,因为在正则里 . 是任意字符,不转义的话 192x168y1z10 也会被误伤;-i.bak 给每个被改的文件都留了备份,真改错了还能整体回滚。
第三步,复核。用 grep 确认旧值已经绝迹、新值处处到位:
# 应该没有任何输出grep -rn "192\.168\.1\.10" /etc/myapp/
# 应该能看到每个文件都换上了新值grep -rn "10\.0\.0\.20" /etc/myapp/复核通过后再清理备份:rm /etc/myapp/*.bak(路径按实际清单来)。
WARNING批量替换最怕的是被替换的字符串在别处还有别的含义——比如把端口 80 全局换成 8080,可能顺手把超时时间 80、版本号里的 80 一起改了。替换前先
grep -n把所有匹配行打出来逐行看一遍,确认每一处都该改,再动手。范围越大,这一步越不能省。
实战三:提取某时段的错误行并计数
需求:应用日志是带时间戳的,想统计昨晚 22 点到 23 点之间 ERROR 出现了多少次、都是哪些。
日志行长这样:
2026-11-14 22:15:03 ERROR 数据库连接超时2026-11-14 22:15:04 INFO 重试第 1 次思路分两段:先用 grep 把 ERROR 行筛出来(缩小数据量),再用 awk 按时间字段过滤。第 2 个字段是时间 22:15:03,字符串比较就能判断时段:
grep "ERROR" /var/log/app.log \ | awk '$2 >= "22:00:00" && $2 < "23:00:00"' \ | wc -l这里用的是字符串比较:时间格式是固定宽度的 HH:MM:SS,字典序和时间先后恰好一致,所以字符串比大小没问题。但如果日志里的时间写成 9:05:03 这种不补零的格式,字符串比较就会翻车(“9” 大于 “22”),遇到这种日志先确认格式再套这个方法。
只要计数用 wc -l 收尾即可;想同时看到具体内容,把 wc -l 去掉;想按错误类型再分组统计,就再接 awk 计数:
grep "ERROR" /var/log/app.log \ | awk '$2 >= "22:00:00" && $2 < "23:00:00" {print $4}' \ | sort | uniq -c | sort -nr($4 是示例日志里错误信息的位置,实际字段按你家日志格式数。)一条命令下来,「那个时段哪类错误最多」一目了然。这正是三剑客组合的典型形态:grep 负责粗筛,awk 负责精筛和拆字段,sort/uniq 负责汇总。
排障:三个高频翻车点
sed 改完文件变空了
现象:执行完 sed -i,文件大小变成 0,内容全没了。
常见原因是命令写错了还带上了重定向,比如把加工结果 > 覆盖回原文件、而 sed 又因为语法错误没有输出,Shell 先把文件清空了,sed 却什么都没写进去。还有一种是 -i 和脚本的写法在不同 sed 版本下解析不一致。
预防就三条,都是前面强调过的纪律:第一,先不带 -i 跑一遍看输出,输出为空或明显不对就停下查命令;第二,永远用 -i.bak 留备份,文件真被改坏,把 .bak 拷回来就完事;第三,不要用 sed '...' file > file 这种自己覆盖自己的写法,Shell 的重定向会在命令执行前就把文件截断,这是个经典陷阱。
grep 明明有内容却查不到
第一种情况是大小写:日志里写的是 Error,你搜的是 error,grep 默认区分大小写。拿不准就加 -i。
第二种情况更隐蔽:grep 输出一句 Binary file /var/log/app.log matches,只告诉你「有」,不给具体行。这是因为文件里混进了不可打印字符(程序往日志里写了二进制数据、或者日志文件本身有损坏),grep 把它判定为二进制文件。加 -a 强制当文本处理即可:
grep -a "ERROR" /var/log/app.log第三种情况是模式被 Shell 吃了:grep ERROR* log 里没加引号,* 被 Shell 展开成当前目录的文件名列表,grep 实际搜的根本不是你想的那个模式。模式一律加引号,这是没有例外的习惯。
awk 字段对不上
现象:print $7 打出来的东西明显不是想要的那一列,或者干脆是空的。
根子基本在分隔符。默认按空白切分时,连续的空格、制表符会被合并成一个分隔,这通常是好事;但如果数据里某个字段本身包含空格(比如日志里带空格的时间戳、User-Agent),按空白切出来的列数就会比预期多,后面所有列全部错位。排查方法是先把 $0 和 NF 一起打出来看看:
awk '{print NF, $0}' data.txt | head先确认每行到底被切成了几列,再决定取第几列。如果数据是逗号、冒号分隔而你忘了加 -F,awk 会把整行当成一个字段,$2 以后全是空的——这是最常见的对不上,检查命令里 -F 写了没有、分隔符写对没有,往往就解决了。
小结
这一篇的东西收束成几句话:
- 分工先行:grep 按行筛选、sed 按行修改、awk 按列计算,选工具不纠结;
- grep 的
-C看上下文、-r扫目录、-a对付被误判的二进制文件,是日常最顺手的三个选项; - 正则只记最小集:
^ $ . * + []加上「点要转义、数字写[0-9]」,覆盖绝大多数场景; - sed 的安全纪律是先看输出再落盘,
-i必带.bak备份,分隔符冲突就换分隔符; - awk 记住
$NF、-F、模式加动作、END 里做汇总,计数和求和两个套路能拼出绝大部分统计需求; sort | uniq -c | sort -nr是所有 TOP N 统计的通用骨架,实战里的 IP 排行、错误分布都是它的变体;- 批量改文件走「grep 圈范围 → sed 带备份改 → grep 复核」的三步流程,稳字当头。
三剑客的命令细节远不止这些,但日常运维里反复用的就是这一篇覆盖的部分。剩下的,等你在实际场景里遇到了,再去翻 man 页对应的那一节——带着问题查手册,效率比通读一遍高得多。