Stream 编辑器 - 正则表达式
正是正则表达式使 SED 强大而高效。 许多复杂的任务可以用正则表达式来解决。 任何命令行专家都知道正则表达式的威力。
与许多其他 GNU/Linux 实用程序一样,SED 也支持正则表达式,通常称为 regex。 本章详细介绍正则表达式。 本章分为三个部分:标准正则表达式、正则表达式的 POSIX 类和元字符。
标准正则表达式
行首 (^)
在正则表达式术语中,插入符号 (^) 匹配行首。 下面的示例打印所有以模式"The"开头的行。
[jerry]$ sed -n '/^The/ p' books.txt
执行上述代码,得到如下结果:
The Two Towers, J. R. R. Tolkien The Alchemist, Paulo Coelho The Fellowship of the Ring, J. R. R. Tolkien The Pilgrimage, Paulo Coelho
行尾 ($)
行尾由美元 ($) 符号表示。 下面的示例打印以"Coelho"结尾的行。
[jerry]$ sed -n '/Coelho$/ p' books.txt
执行上述代码,得到如下结果:
The Alchemist, Paulo Coelho The Pilgrimage, Paulo Coelho
点字符 (.)
点(.) 匹配除行尾字符之外的任何单个字符。 下面的示例打印所有以字符"t"结尾的三个字母单词。
[jerry]$ echo -e "cat\nbat\nrat\nmat\nbatting\nrats\nmats" | sed -n '/^..t$/p'
执行上述代码,得到如下结果:
cat bat rat mat
匹配字符集 ([])
在正则表达式术语中,字符集由方括号 ([]) 表示。 它用于仅匹配几个字符中的一个。 以下示例匹配模式"Call"和"Tall",但不匹配"Ball"。
[jerry]$ echo -e "Call\nTall\nBall" | sed -n '/[CT]all/ p'
执行上述代码,得到如下结果:
Call Tall
独占集([^])
在独占集中,插入符号否定方括号中的字符集。 以下示例仅打印"Ball"。
[jerry]$ echo -e "Call\nTall\nBall" | sed -n '/[^CT]all/ p'
执行上述代码,得到如下结果:
Ball
字符范围 ([-])
当提供字符范围时,正则表达式匹配方括号中指定范围内的任何字符。 以下示例匹配"Call"和"Tall",但不匹配"Ball"。
[jerry]$ echo -e "Call\nTall\nBall" | sed -n '/[C-Z]all/ p'
执行上述代码,得到如下结果:
Call Tall
现在让我们将范围修改为"A-P"并观察结果。
[jerry]$ echo -e "Call\nTall\nBall" | sed -n '/[A-P]all/ p'
执行上述代码,得到如下结果:
Call Ball
零次或一次出现 (\?)
在 SED 中,问号 (\?) 匹配零次或一次出现的前面字符。 以下示例匹配"Behaviour"和"Behavior"。 在这里,我们使用"\?"将"u"作为可选字符。
[jerry]$ echo -e "Behaviour\nBehavior" | sed -n '/Behaviou\?r/ p'
执行上述代码,得到如下结果:
Behaviour Behavior
一次或多次出现 (\+)
在 SED 中,加号 (\+) 匹配出现的一个或多个前面的字符。 以下示例匹配一个或多个"2"。
[jerry]$ echo -e "111\n22\n123\n234\n456\n222" | sed -n '/2\+/ p'
执行上述代码,得到如下结果:
22 123 234 222
零次或多次出现 (*)
星号 (*) 匹配前面字符的零次或多次出现。 以下示例匹配"ca"、"cat"、"catt"等。
[jerry]$ echo -e "ca\ncat" | sed -n '/cat*/ p'
执行上述代码,得到如下结果:
ca cat
恰好 N 次出现 {n}
{n} 与前一个字符的"n"次完全匹配。 以下示例仅打印三位数字。 但在此之前,您需要创建以下仅包含数字的文件。
[jerry]$ cat numbers.txt
执行上述代码,得到如下结果:
1 10 100 1000 10000 100000 1000000 10000000 100000000 1000000000
让我们编写 SED 表达式。
[jerry]$ sed -n '/^[0-9]\{3\}$/ p' numbers.txt
执行上述代码,得到如下结果:
100
请注意,这对花括号被"\"字符转义。
至少出现 n 次 {n,}
{n,} 匹配至少"n"次出现的前一个字符。 下面的示例打印所有大于或等于五位数的数字。
[jerry]$ sed -n '/^[0-9]\{5,\}$/ p' numbers.txt
执行上述代码,得到如下结果:
10000 100000 1000000 10000000 100000000 1000000000
M 到 N 次出现 {m, n}
{m, n} 匹配前一个字符的至少"m"个和最多"n"个出现。 以下示例打印所有至少有五位但不超过八位的数字。
[jerry]$ sed -n '/^[0-9]\{5,8\}$/ p' numbers.txt
执行上述代码,得到如下结果:
10000 100000 1000000 10000000
Pipe (|)
在 SED 中,管道字符的行为类似于逻辑 OR 操作。 它匹配管道两侧的项目。 以下示例匹配"str1"或"str3"。
[jerry]$ echo -e "str1\nstr2\nstr3\nstr4" | sed -n '/str\(1\|3\)/ p'
执行上述代码,得到如下结果:
str1 str3
请注意,括号和竖线 (|) 的对被"\"字符转义。
转义字符
有一些特殊字符。 比如换行用"\n"表示,回车用"\r"表示,以此类推。要将这些字符用于常规 ASCII 上下文,我们必须使用反斜杠 (\) 字符对它们进行转义。 本章说明特殊字符的转义。
转义"\"
以下示例匹配模式"\"。
[jerry]$ echo 'str1\str2' | sed -n '/\\/ p'
在执行上述代码时,您会得到以下结果:
str1\str2
转义"\n"
以下示例匹配换行符。
[jerry]$ echo 'str1\nstr2' | sed -n '/\\n/ p'
执行上述代码,得到如下结果:
str1\nstr2
转义"\r"
以下示例匹配回车符。
[jerry]$ echo 'str1\rstr2' | sed -n '/\\r/ p'
执行上述代码,得到如下结果:
str1\rstr2
转义"\dnnn"
这匹配十进制 ASCII 值为"nnn"的字符。 以下示例仅匹配字符"a"。
[jerry]$ echo -e "a\nb\nc" | sed -n '/\d97/ p'
在执行上述代码时,您会得到以下结果:
a
转义"\onnn"
这匹配八进制 ASCII 值为"nnn"的字符。 以下示例仅匹配字符"b"。
[jerry]$ echo -e "a\nb\nc" | sed -n '/\o142/ p'
执行上述代码,得到如下结果:
b
这匹配十六进制 ASCII 值为"nnn"的字符。 以下示例仅匹配字符"c"。
[jerry]$ echo -e "a\nb\nc" | sed -n '/\x63/ p'
执行上述代码,得到如下结果:
c
正则表达式的 POSIX 类
有些保留字有特殊的含义。 这些保留字被称为正则表达式的 POSIX 类。 本节介绍 SED 支持的 POSIX 类。
[:alnum:]
它暗示字母和数字字符。 以下示例仅匹配"One"和"123",但不匹配制表符。
[jerry]$ echo -e "One\n123\n\t" | sed -n '/[[:alnum:]]/ p'
执行上述代码,得到如下结果:
One 123
[:alpha:]
它仅暗示字母字符。 以下示例仅匹配单词"One"。
[jerry]$ echo -e "One\n123\n\t" | sed -n '/[[:alpha:]]/ p'
执行上述代码,得到如下结果:
One
[:blank:]
它意味着可以是空格或制表符的空白字符。 以下示例仅匹配制表符。
[jerry]$ echo -e "One\n123\n\t" | sed -n '/[[:space:]]/ p' | cat -vte
执行上述代码,得到如下结果:
^I$
请注意,命令"cat -vte"用于显示制表符 (^I)。
[:digit:]
它仅暗示十进制数字。 以下示例仅匹配数字"123"。
[jerry]$ echo -e "abc\n123\n\t" | sed -n '/[[:digit:]]/ p'
执行上述代码,得到如下结果:
123
[:lower:]
它仅暗示小写字母。 以下示例仅匹配"one"。
[jerry]$ echo -e "one\nTWO\n\t" | sed -n '/[[:lower:]]/ p'
执行上述代码,得到如下结果:
one
[:upper:]
它仅暗示大写字母。 以下示例仅匹配"TWO"。
[jerry]$ echo -e "one\nTWO\n\t" | sed -n '/[[:upper:]]/ p'
执行上述代码,得到如下结果:
TWO
[:punct:]
它暗示包含非空格或字母数字字符的标点符号
[jerry]$ echo -e "One,Two\nThree\nFour" | sed -n '/[[:punct:]]/ p'
执行上述代码,得到如下结果:
One,Two
[:space:]
它暗示空白字符。 以下示例说明了这一点。
[jerry]$ echo -e "One\n123\f\t" | sed -n '/[[:space:]]/ p' | cat -vte
执行上述代码,得到如下结果:
123^L^I$
元字符
与传统的正则表达式一样,SED 也支持元字符。 这些是 Perl 风格的正则表达式。 请注意,元字符支持是特定于 GNU SED 的,可能不适用于 SED 的其他变体。 让我们详细讨论元字符.
字边界 (\b)
在正则表达式术语中,"\b"匹配单词边界。 例如,"\bthe\b"匹配"the",但不匹配"these"、"there"、"they"、"then"等。 以下示例说明了这一点。
[jerry]$ echo -e "these\nthe\nthey\nthen" | sed -n '/\bthe\b/ p'
执行上述代码,得到如下结果:
the
非单词边界 (\B)
在正则表达式术语中,"\B"匹配非单词边界。 例如,"the\B"匹配"these"和"they",但不匹配"the"。 以下示例说明了这一点。
[jerry]$ echo -e "these\nthe\nthey" | sed -n '/the\B/ p'
执行上述代码,得到如下结果:
these they
单个空格 (\s)
在 SED 中,"\s"表示单个空格字符。 以下示例匹配"Line\t1"但不匹配"Line1"。
[jerry]$ echo -e "Line\t1\nLine2" | sed -n '/Line\s/ p'
执行上述代码,得到如下结果:
Line 1
单个非空白 (\S)
在 SED 中,"\S"表示单个空格字符。 以下示例匹配"Line2"但不匹配"Line\t1"。
[jerry]$ echo -e "Line\t1\nLine2" | sed -n '/Line\S/ p'
执行上述代码,得到如下结果:
Line2
单字字符 (\w)
在 SED 中,"\w"表示单个单词字符,即字母字符、数字和下划线 (_)。 以下示例说明了这一点。
[jerry]$ echo -e "One\n123\n1_2\n&;#" | sed -n '/\w/ p'
执行上述代码,得到如下结果:
One 123 1_2
单个非单词字符 (\W)
在 SED 中,"\W"表示与"\w"完全相反的单个非单词字符。 以下示例说明了这一点。
[jerry]$ echo -e "One\n123\n1_2\n&;#" | sed -n '/\W/ p'
执行上述代码,得到如下结果:
&;#
模式空间的开始 (\`)
在 SED 中,"\`"表示模式空间的开始。 以下示例仅匹配单词"One"。
[jerry]$ echo -e "One\nTwo One" | sed -n '/\`One/ p'
执行上述代码,得到如下结果:
One