5350 字
27 分钟
文本处理三剑客:grep、sed、awk
2026-11-15

服务器上绝大多数信息都是文本:日志是文本,配置是文本,命令的输出也是文本。运维干久了你会发现,每天真正在做的事,一大半是「从一大堆文本里把有用的那几行捞出来」,或者「把一批文件里的某个值统一改掉」。干这两件事的工具很多,但绕来绕去,最后沉淀下来的就是这三个:grep、sed、awk,江湖人称「三剑客」。

这篇不打算把它们写成手册——手册有 man 页,而且写得比谁都全。这篇只讲运维场景里真正高频的那部分:grep 怎么把行定位出来,sed 怎么安全地批量改文件,awk 怎么把字段拆出来做统计,最后用三个完整实战把它们和管道串起来。学完这一篇,配合前面的日志管理篇,你在服务器上翻日志、改配置、做统计基本就不求人了。

先分工:谁找、谁改、谁算#

三剑客经常被一起提,但它们的活儿分得很清。先把分工记住,后面选工具就不会纠结:

工具一句话定位擅长不擅长
grep找按内容把符合条件的行筛出来改文件、做计算
sed改按行批量替换、删除、插入文本跨字段统计、复杂逻辑
awk算把行拆成字段,统计、求和、格式化输出原地改文件(默认只输出)

一个粗略的心智模型:数据是一条河,grep 是渔网,只捞符合特征的鱼;sed 是流水线上的加工台,东西过一遍就变个样;awk 是会计,把每条记录拆开记账,最后能出报表。

三者的边界就是:按行筛选用 grep,按行修改用 sed,按列计算用 awk。实际工作中它们很少单独出现,往往是一条管道里各干一段,这正是 Unix 的设计哲学——每个工具只做一件事,然后组合起来。

grep:先把行捞出来#

grep 的名字来自编辑器命令 g/re/p(global regular expression print),干的事一句话:输出所有包含指定模式的行。最基础的用法:

Terminal window
grep "error" /var/log/app.log

这会打印 app.log 里所有包含 error 的行。就这么简单,但实战中真正好用的是一批选项。

常用选项速查#

选项作用典型场景
-i忽略大小写日志里 Error/ERROR/error 混写时
-v反选,输出不包含的行把已知噪音过滤掉看剩下的
-n显示行号定位后还要去编辑器里改那一行
-c只输出匹配的行数先看看量级,再决定怎么处理
-r / -R递归搜索整个目录在一堆配置里找某个值是谁配的
-l只列出包含匹配的文件名先圈范围,再逐个处理
-A n连带输出匹配行后面 n 行看报错之后的堆栈
-B n连带输出匹配行前面 n 行看报错之前的上下文
-C n前后各 n 行(等于 -A n -B n)最常用的上下文查看方式
-o只输出匹配到的部分,不输出整行提取 IP、邮箱这类片段
-a把二进制文件当文本处理grep 说 “Binary file matches” 时

几个例子感受一下:

Terminal window
# 忽略大小写数一下今天有多少条错误
grep -ci "error" /var/log/app.log
# 看某次报错的完整上下文(前后各 5 行)
grep -C 5 "OutOfMemory" /var/log/app.log
# 在整个配置目录里找谁写了 8080 这个端口
grep -rn "8080" /etc/myapp/
# 排除掉健康检查的噪音,只看真实请求
grep -v "healthcheck" /var/log/nginx/access.log

还有个小习惯:让 grep 把匹配部分标红,肉眼扫起来快很多。很多发行版默认已经 alias 好了,没有的话自己加:

Terminal window
alias grep='grep --color=auto'

把这行写进 ~/.bashrc 就长期生效。注意 --color=auto 只在输出到终端时上色,管道传给别的命令时自动关掉,不会污染数据,放心用。

模式不只是固定字符串#

grep 的模式支持正则表达式。用 -E 开启扩展正则(等价于老命令 egrep),就能写「或」「重复」这类模式:

Terminal window
# 同时找 error 和 fatal 两种行
grep -Ei "error|fatal" /var/log/app.log
# 找以数字开头的行
grep -E "^[0-9]" data.txt
# 找包含 IP 形态的行(粗筛,够用)
grep -E "[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+" access.log

扩展正则里最常用的元字符就这么几个,后面正则一节统一交代。先记住一点:模式要用引号包起来,否则里面的 |、* 会被 Shell 先截胡解释,查出来的结果莫名其妙。

正则最小集:够用就停#

三剑客共用正则表达式这门「语言」,但不需要你把正则学成一门课。运维日常里 95% 的场景,下面这个最小集就够了:

写法含义例子
^行首^Error 只匹配行首的 Error
$行尾fail$ 匹配以 fail 结尾的行
.任意一个字符a.c 能匹配 abc、aXc
*前面的字符出现 0 次或多次ab* 匹配 a、ab、abb
+前面的字符出现 1 次或多次(需 -E)[0-9]+ 匹配一串数字
[]字符集,匹配其中任意一个[0-9] 一个数字,[a-z] 一个小写字母
[^]取反字符集[^0-9] 一个非数字字符
|或(grep -E 里直接写 |)error|warn 二选一
\b单词边界\broot\b 只匹配独立的 root 这个词

关于 \d 要特别说明一句:grep 和 sed 的正则里没有 \d 这个写法。\d 是 Perl 风格正则的简写,想表示数字就老老实实写 [0-9];表示空白用 [[:space:]] 或直接写空格和 \t。很多人在这儿栽过跟头——从网上抄来的 \d+ 在 grep 里要么报错要么匹配不到东西,还以为是数据的问题。用 grep 时需要 \d 语义,可以加 -P 让它走 Perl 正则引擎:

Terminal window
grep -P "\d+\.\d+\.\d+\.\d+" access.log

但 -P 不是所有环境都有(精简系统、容器镜像里可能缺),脚本里要跨机器跑的话,还是 [0-9] 最稳妥。

还有一个新手最容易混淆的点:正则里的 . 是「任意字符」,想匹配真正的点号(比如 IP 里的点)要写 \.。192.168.1.1 这个模式里的点能匹配任意字符,所以它连 192x168y1z1 也能匹配上——日常粗筛无所谓,要精确就写成 192\.168\.1\.1。

sed:按行批量加工#

sed 是 stream editor(流编辑器):文本像水一样从它面前流过,它按规则加工后输出。最核心的命令是 s 替换:

Terminal window
sed 's/旧内容/新内容/' file.txt

注意:这样只是把加工结果打印到屏幕,原文件不动。先看效果、确认无误,再考虑写回,这是用 sed 的基本纪律,后面会专门强调。

替换的细节:范围与标志#

s 命令的完整形态是 s/模式/替换/标志,常用的标志:

Terminal window
# 默认只换每行第一个匹配,想全换要加 g(global)
sed 's/localhost/127.0.0.1/g' hosts.txt
# 只换每行第 2 个匹配
sed 's/:/-/2' data.txt

替换之前往往要先圈定「对哪些行下手」,这叫地址定界,两种方式:

Terminal window
# 按行号:第 3 行到第 5 行
sed '3,5s/old/new/g' file.txt
# 按模式:只改包含 [server] 的那一行附近……更常用的是直接定位包含特征的行
sed '/^port/s/8080/9090/' app.conf
# 组合:从匹配 START 的行到匹配 END 的行之间都改
sed '/START/,/END/s/old/new/g' file.txt

除了替换,另一个高频动作是删除 d:

Terminal window
# 删掉空行
sed '/^$/d' file.txt
# 删掉注释行
sed '/^[[:space:]]*#/d' app.conf
# 删掉第 10 行到第 20 行
sed '10,20d' file.txt

分隔符冲突:换个分隔符就行#

s 命令里 / 只是习惯用的分隔符,不是规定。替换内容本身带斜杠时——比如改路径——继续用 / 就得写一堆转义,丑且易错:

Terminal window
# 难读的写法
sed 's/\/var\/www\/html/\/srv\/www/g' nginx.conf
# 换成 # 作分隔符,清爽
sed 's#/var/www/html#/srv/www#g' nginx.conf

分隔符可以是几乎任意字符,#、|、: 都常见。处理路径、URL 时默认换成 #,是老运维的肌肉记忆。

原地修改:-i 必须带备份#

确认替换效果没问题后,用 -i 把结果写回原文件:

Terminal window
sed -i 's/8080/9090/g' app.conf
WARNING

sed -i 是直接改源文件的,命令写错没有撤销键。养成铁律:永远写成 sed -i.bak 先留一份带 .bak 后缀的备份,确认改对了再删备份;批量改之前,先用不带 -i 的版本把输出打到屏幕上验一遍再执行。

Terminal window
# 安全姿势:改完留下 app.conf.bak
sed -i.bak 's/8080/9090/g' app.conf
# 验证没问题后清理备份
rm app.conf.bak

GNU sed(Linux 上的)和 BSD sed(macOS 上的)在 -i 的语法上有差异:macOS 上 -i 后面必须跟后缀参数,sed -i '' 's/.../.../' 才是 BSD 写法。在 Linux 服务器上写脚本不用管这事,但同一条命令想在自己 Mac 上也跑通时要留意。

awk:把行拆开算账#

grep 和 sed 都是「整行」视角,awk 不一样:它把每一行按分隔符拆成若干字段,你可以直接引用第几个字段做判断和计算。这是它做统计的根基。

Terminal window
# 打印每行的第 1 个字段(默认按空白分隔:空格、制表符)
awk '{print $1}' access.log

字段的引用方式:

写法含义
$0整行
$1、$2第 1、第 2 个字段
$NF最后一个字段(NF 是字段总数)
$(NF-1)倒数第二个字段
NR当前是第几行(Number of Record)
FNR当前文件内的行号(处理多文件时与 NR 区分)

$NF 特别实用:日志格式里前面字段数不固定时,从尾巴数往往更稳。比如取每行最后一个字段做统计,比数清楚前面有多少列靠谱得多。

指定分隔符 -F#

字段默认按空白切,遇到逗号、冒号分隔的数据要用 -F 指定:

Terminal window
# /etc/passwd 是冒号分隔,打印用户名和它的 shell
awk -F: '{print $1, $7}' /etc/passwd
# CSV 文件取第 3 列
awk -F, '{print $3}' data.csv
# 分隔符可以是多个字符或正则
awk -F'[: ]+' '{print $2}' mixed.txt

输出时 print $1, $7 里的逗号会让两个字段之间以空格(准确说是 OFS,输出字段分隔符)连接;写成 print $1 $7 则直接拼在一起,中间什么都没有。这个区别在拼路径、拼命令时经常用到。

模式 + 动作:awk 的骨架#

awk 程序的基本结构是「模式 {动作}」:模式决定哪些行执行动作,模式省略就是每一行都执行。

Terminal window
# 只处理第 3 列大于 100 的行
awk '$3 > 100 {print $1, $3}' data.txt
# 只处理包含 ERROR 的行(模式可以是正则)
awk '/ERROR/ {print $1}' app.log
# 组合条件:状态码是 500 且路径带 /api
awk '$9 == 500 && $7 ~ /api/ {print $7}' access.log

两个特殊模式要记住:BEGIN 在处理任何数据之前执行(常用来打印表头、初始化变量),END 在全部数据处理完之后执行(打印汇总结果)。

Terminal window
awk 'BEGIN {print "开始统计"} {count++} END {print "总行数:", count}' app.log

求和与计数:两个万能模式#

awk 做统计,翻来覆去就是两个套路。

计数模式——用数组当计数器:

Terminal window
# 统计每个状态码出现了多少次
awk '{cnt[$9]++} END {for (code in cnt) print code, cnt[code]}' access.log

这里 cnt[$9]++ 的意思是:以第 9 个字段(状态码)为下标的数组元素加一。END 里用 for 循环把数组遍历出来。注意遍历顺序是无序的,要排序就接管道给 sort,后面实战里会看到。

求和模式——用普通变量累加:

Terminal window
# 把第 10 列(响应字节数)全部加起来,算总流量
awk '{sum += $10} END {print sum}' access.log
# 带条件求和:只算状态码 200 的流量
awk '$9 == 200 {sum += $10} END {print sum}' access.log

管道组合:sort、uniq 与三剑客#

三剑客很少单打独斗。把它们串起来的胶水是管道 |,而管道里出镜率最高的配角是这三个:

工具作用关键选项
sort排序-n 按数字排、-r 逆序、-k 指定按哪列排、-t 指定列分隔符
uniq去重(需先排序)-c 在每行前加上出现次数
wc计数-l 数行数、-w 数词数、-c 数字节数

其中最经典的组合是 sort | uniq -c | sort -nr:先排序让相同行挨在一起,uniq -c 数出每种出现几次,再按数字逆序排,出现最多的自然冒到最前面。任何「统计 TOP N」的需求,骨架都是这一串,区别只在喂给它的数据是什么。uniq 有个脾气:它只合并相邻的重复行,所以前面必须先 sort,漏了这一步,去重和计数都会出错,这是新手最常见的翻车点之一。

实战一:统计访问日志 IP TOP 10#

需求:Nginx 访问日志被打了,想看看来源 IP 都是谁,揪出请求量异常的那个。

Nginx 默认 combined 日志格式里,第 1 个字段就是客户端 IP。所以流程是:awk 取第 1 列 → sort 让相同 IP 挨到一起 → uniq -c 计数 → sort -nr 按次数倒序 → head 取前 10:

Terminal window
awk '{print $1}' /var/log/nginx/access.log \
| sort \
| uniq -c \
| sort -nr \
| head -10

逐段拆开看:

  1. awk '{print $1}':把每行的 IP 单独抽出来,现在数据是一长列 IP;
  2. 第一个 sort:纯粹为 uniq 做准备,让相同 IP 相邻;
  3. uniq -c:输出变成「次数 IP」两列;
  4. sort -nr:-n 按数字大小排(不加 -n 的话 “100” 会排在 “99” 前面,因为是按字符串比的),-r 倒序,大数在前;
  5. head -10:只要前十名。

输出长这样:

15234 203.0.113.45
8912 198.51.100.7
3201 192.0.2.88

第一名的请求量如果断层领先,大概率就是它了。这个骨架换个字段就能复用:把 $1 换成 $7 是请求路径 TOP,换成 $9 是状态码分布,换成 $12(User-Agent 字段,需注意带空格的字段切分问题)是客户端分布。关于访问日志各字段的含义和日志轮转,日志管理篇里有详细交代,可以对照着看。

实战二:批量改一批配置里的某个值#

需求:/etc/myapp/ 下有十几个配置文件,里面的数据库地址全要从旧 IP 换成新 IP。手工逐个打开改,又慢又容易漏。正确姿势是三步走:先圈、再改、后核。

第一步,用 grep 的 -rl 先圈出到底哪些文件包含旧值(-r 递归,-l 只列文件名):

Terminal window
grep -rl "192.168.1.10" /etc/myapp/

输出是一个文件清单。先看这份清单合不合理——有没有混进不该改的文件(比如某个 .md 说明文档里也提到了旧 IP,那就不该动它)。

第二步,对清单里的文件逐个执行 sed 替换。把 grep 的结果通过管道喂给 xargs:

Terminal window
grep -rl "192.168.1.10" /etc/myapp/ \
| xargs sed -i.bak 's/192\.168\.1\.10/10.0.0.20/g'

注意两个细节:模式里的点写成了 \.,因为在正则里 . 是任意字符,不转义的话 192x168y1z10 也会被误伤;-i.bak 给每个被改的文件都留了备份,真改错了还能整体回滚。

第三步,复核。用 grep 确认旧值已经绝迹、新值处处到位:

Terminal window
# 应该没有任何输出
grep -rn "192\.168\.1\.10" /etc/myapp/
# 应该能看到每个文件都换上了新值
grep -rn "10\.0\.0\.20" /etc/myapp/

复核通过后再清理备份:rm /etc/myapp/*.bak(路径按实际清单来)。

WARNING

批量替换最怕的是被替换的字符串在别处还有别的含义——比如把端口 80 全局换成 8080,可能顺手把超时时间 80、版本号里的 80 一起改了。替换前先 grep -n 把所有匹配行打出来逐行看一遍,确认每一处都该改,再动手。范围越大,这一步越不能省。

实战三:提取某时段的错误行并计数#

需求:应用日志是带时间戳的,想统计昨晚 22 点到 23 点之间 ERROR 出现了多少次、都是哪些。

日志行长这样:

2026-11-14 22:15:03 ERROR 数据库连接超时
2026-11-14 22:15:04 INFO 重试第 1 次

思路分两段:先用 grep 把 ERROR 行筛出来(缩小数据量),再用 awk 按时间字段过滤。第 2 个字段是时间 22:15:03,字符串比较就能判断时段:

Terminal window
grep "ERROR" /var/log/app.log \
| awk '$2 >= "22:00:00" && $2 < "23:00:00"' \
| wc -l

这里用的是字符串比较:时间格式是固定宽度的 HH:MM:SS,字典序和时间先后恰好一致,所以字符串比大小没问题。但如果日志里的时间写成 9:05:03 这种不补零的格式,字符串比较就会翻车(“9” 大于 “22”),遇到这种日志先确认格式再套这个方法。

只要计数用 wc -l 收尾即可;想同时看到具体内容,把 wc -l 去掉;想按错误类型再分组统计,就再接 awk 计数:

Terminal window
grep "ERROR" /var/log/app.log \
| awk '$2 >= "22:00:00" && $2 < "23:00:00" {print $4}' \
| sort | uniq -c | sort -nr

($4 是示例日志里错误信息的位置,实际字段按你家日志格式数。)一条命令下来,「那个时段哪类错误最多」一目了然。这正是三剑客组合的典型形态:grep 负责粗筛,awk 负责精筛和拆字段,sort/uniq 负责汇总。

排障:三个高频翻车点#

sed 改完文件变空了#

现象:执行完 sed -i,文件大小变成 0,内容全没了。

常见原因是命令写错了还带上了重定向,比如把加工结果 > 覆盖回原文件、而 sed 又因为语法错误没有输出,Shell 先把文件清空了,sed 却什么都没写进去。还有一种是 -i 和脚本的写法在不同 sed 版本下解析不一致。

预防就三条,都是前面强调过的纪律:第一,先不带 -i 跑一遍看输出,输出为空或明显不对就停下查命令;第二,永远用 -i.bak 留备份,文件真被改坏,把 .bak 拷回来就完事;第三,不要用 sed '...' file > file 这种自己覆盖自己的写法,Shell 的重定向会在命令执行前就把文件截断,这是个经典陷阱。

grep 明明有内容却查不到#

第一种情况是大小写:日志里写的是 Error,你搜的是 error,grep 默认区分大小写。拿不准就加 -i。

第二种情况更隐蔽:grep 输出一句 Binary file /var/log/app.log matches,只告诉你「有」,不给具体行。这是因为文件里混进了不可打印字符(程序往日志里写了二进制数据、或者日志文件本身有损坏),grep 把它判定为二进制文件。加 -a 强制当文本处理即可:

Terminal window
grep -a "ERROR" /var/log/app.log

第三种情况是模式被 Shell 吃了:grep ERROR* log 里没加引号,* 被 Shell 展开成当前目录的文件名列表,grep 实际搜的根本不是你想的那个模式。模式一律加引号,这是没有例外的习惯。

awk 字段对不上#

现象:print $7 打出来的东西明显不是想要的那一列,或者干脆是空的。

根子基本在分隔符。默认按空白切分时,连续的空格、制表符会被合并成一个分隔,这通常是好事;但如果数据里某个字段本身包含空格(比如日志里带空格的时间戳、User-Agent),按空白切出来的列数就会比预期多,后面所有列全部错位。排查方法是先把 $0 和 NF 一起打出来看看:

Terminal window
awk '{print NF, $0}' data.txt | head

先确认每行到底被切成了几列,再决定取第几列。如果数据是逗号、冒号分隔而你忘了加 -F,awk 会把整行当成一个字段,$2 以后全是空的——这是最常见的对不上,检查命令里 -F 写了没有、分隔符写对没有,往往就解决了。

小结#

这一篇的东西收束成几句话:

  • 分工先行:grep 按行筛选、sed 按行修改、awk 按列计算,选工具不纠结;
  • grep 的 -C 看上下文、-r 扫目录、-a 对付被误判的二进制文件,是日常最顺手的三个选项;
  • 正则只记最小集:^ $ . * + [] 加上「点要转义、数字写 [0-9]」,覆盖绝大多数场景;
  • sed 的安全纪律是先看输出再落盘,-i 必带 .bak 备份,分隔符冲突就换分隔符;
  • awk 记住 $NF、-F、模式加动作、END 里做汇总,计数和求和两个套路能拼出绝大部分统计需求;
  • sort | uniq -c | sort -nr 是所有 TOP N 统计的通用骨架,实战里的 IP 排行、错误分布都是它的变体;
  • 批量改文件走「grep 圈范围 → sed 带备份改 → grep 复核」的三步流程,稳字当头。

三剑客的命令细节远不止这些,但日常运维里反复用的就是这一篇覆盖的部分。剩下的,等你在实际场景里遇到了,再去翻 man 页对应的那一节——带着问题查手册,效率比通读一遍高得多。

文本处理三剑客:grep、sed、awk
https://www.anexns.cloudns.org/posts/linux-text-processing/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0