本文列明Linux的常用命令用法,学会了这些命令之后,结合shell编程知识,就可以做各种自动编译/集成的工作啦。
本文地址:https://segmentfault.com/a/1190000006078207
Reference
《Linux Shell 脚本攻略》
Linux中怎么找出空文件夹?
cat:显示、拼接
cat file1 file2 file3 ...
除了常有的用来显示文件内容之外,cat
有两个妙用:
1. 使用 stdin 输入给 cat
xxxx | cat - output.txt
本例中使用“-
”表示stdin,用xxxx命令的输出重定向给cat
2. 合并文件
cat file1 | file2 > output.txt
将两个文本合并
3. 删除多余的空白行
cat -s input.txt
4. 显示行号
cat -n input.txt
find:查找文件
基本用法:file -name 'xxx'
。其中可以指定文件夹,比如find /dev/ -name ...
。在BSD中,目标文件夹是必须指定的。在Linux中,则可以不指定,默认是当前文件夹。
如果要求忽略大小写,则使用选项-iname
。name参数后面的字符串可以使用正则表达式。
匹配多个文件
可以使用-o
选项来表示“OR”,并且用“\(
”和“\)
”作为条件整体括起来。如:
find \(-name 'aaa.txt' -o -name 'aaa.doc' \)
需要注意的是,\(
之后和\)
之前必须有空格
不是匹配文件名而是匹配完整路径
-name
用于匹配文件名,但是可以使用-path
用来匹配路径:
find ./ -path "*/doc/*"
如果要匹配正则表达式路径,则使用-regex
或-iregex
(忽略大小写)。此时已path而不是name方式搜寻。
指定“非”条件
可以指定“不”匹配条件,使用感叹号即可,如:
find ./ ! -name "*.txt"
限制目录深度
-maxdepth
和-mindepth
,比如搜寻当前文件夹,则使用-maxdepth 1
按照类型权限搜索
-perm mode
/+mode
/-mode
。其中mode是一个八进制数,对应chmod
命令里面的mode。加号表示“任意一个位”,减号表示“所有1位匹配”,无符号表示“完整匹配”
过滤文件类型
find可以匹配文件类型:-type x
,其中x可以是以下值:
f
:file,文件l
:link,符号链接d
:directory,目录/文件夹c
:char,字符设备b
:block,块设备s
:socketp
:pipe
过滤文件时间
参数都是以下格式:-选项 天数
,天数表示距离今天几天内。选项如下:
-atime
:access time-mtime
:modification time-ctime
:change time(注:这个和mtime有啥区别?)
需要注意的是,UNIX中并没有“create time”的概念。
比如搜索7天内访问过的所有文件:find . -type f -atime -7
或者是访问超过7天的文件:find . -type f -atime +7
也可以是恰好7天:find . -type f -atime 7
上述参数是以天为单位的。下面几个参数以分钟为单位:-amin
, -mmin
, -cmim
过滤文件大小
-size 参数
后面的参数可以用多种单位,比如c
(char,字节)、k
、M
、G
。比如查找大于2kB的文件:find . -type f -size +2k
删除匹配的文件
在find命令后面加上-delete
参数,find会将匹配到的文件都删除掉。这个功能很有用,但是要小心用。
对每一个文件执行操作
使用-exec
对find的每一个目标进行操作,使用“{}
”匹配每一个文件名。比如将所有带“configure”的文件加上执行权限:find . -name "configure" -type f -exec chmod +x {}
说实话我觉得还不如使用xargs
来得方便。
指定输出的分隔符
使用-print0
,将\0
作为文件名之间的分割符。参见xargs
的使用。
查找所有空文件夹
find . -type d -empty
这是我在吧项目从svn迁移到git所遇到的问题——git不支持空文件夹啊……所以我得找到所有的空文件夹再做特殊处理。
xargs:将stdin转换为其他命令的参数并执行
有些命令可以支持stdin重定向作为输入,这是极好的。但是大部分不行。这个时候就需要使用xargs
了。。
这个命令的作用就是将stdout的内容,作为其他命令的参数进行调用。基本格式是:
command | xargs ...
将stdout参数顺序输出给命令
最简单的应用是将stdout一个一个输出给命令,以换行符为单位,比如:find -name ".svn" | xargs rm -rf
这样的结果是find输出的每一行都被执行了rm -rf ...操作。
第二种应用是指定参数个数,比如:find -name "*.txt" | xargs -n 2 cat
使用-n
参数,xargs可以每次传递指定数量的参数给command,如果参数不足,则传递剩余全部参数。
指定参数位置
使用-I
参数指定一个字符串作为宏,并且在后面这个宏出现的位置中,替换成参数。在一些xargs实现中,-I
参数是必需的。比如:find -name ".svn" | xargs -I {} rm {} -rf
结合 find 命令
find命令的分隔符除了可能是'\n
之外,也可能是' '
(空格)。为了防止错误,find应该使用-print0
选项,而xargs使用-0
(杠零) 选项。比如:find -name ".svn" -print0 | xargs -0 rm -rf
tr:转换字符串,并重新输出(translate)
tr [options] set1 set2
这是一个简易的命令。tr将stdin的字符从set1的规则映射为set2规则,然后重新输出到stdout。比如将全部字母小写:...... | tr 'A-Z' 'a-z'
set1和set2分别是两个集合,比如'a-z'
, 'a-z0-9'
, '12345'
等等都是合法集合。集合中也可以使用转义字符,比如\t
, \n
。
使用tr删除字符,用-d
选项:...... | tr -d '0-9'
使用tr压缩连续字符(典型应用:删除连续空格):-s
选项,如:...... | tr -s ' '
grep:文本搜寻和匹配
单独使用,直接指定目标文件
grep可以单独使用,直接为其指定搜索的文件:grep "all:" Makefile
上面是在Makefile中搜索带字符“all:”的行。grep会打印出所有符合条件的行。
grep也可以指定多个文件,如:grep "all:" Makefile Makefile.in
grep可以指定搜索的目录。此时grep会递归艘运目录下的所有文件,如:grep "main(" ./ -r
可以在当前目录下查找main
函数。
使用管道
如果grep的非选项参数只有一个,那么grep会自动从stdin中获得输入。
只输出匹配文本
使用-o
选项使得grep不是输出一整行,而只是指定的文本。
使用正则表达式
虽然加上-e
选项可以让grep支持正则表达式,但实际上建议直接使用egrep
打印匹配的文件以及在文中的行号
使用选项-n
,经常搭配-r
来搜索文字。使用-Ax
打印匹配目标之后的x行;使用-Bx
打印匹配目标之前的 x行;使用-Cx
打印前后x行。
多种匹配
使用-e
来匹配多个样式,如:...... | grep -e "Linux" -e "BSD"
忽略模式的大小写
-i
选项
静默模式
使用-q
选项。这个模式下,grep不输出内容,只在结束的时候给出返回值。匹配成功时,返回0;失败时,返回非零值。
反匹配
使用-v
做反匹配。我经常使用的一个组合命令就是:
查找我相对于svn上,修改了的文件列表:svn stat | egrep -v "^\?"
打印匹配的文件名
使用-l
选项,只打印匹配的文件名。
cut:文本/文件按列划分
直接上例子吧:cut -f 2,3 table.txt
,这个命令表示将文件中所有第二和第三列的内容打印出来。(列数从1开始而不是0)。
更多的情况下,我们是将它接在管道下的,有了cut命令,我们就可以很方便地去裁剪。如果没有文件参数,cut会自动从stdin中获取文本,正如grep一样。
指定界定符
如果没有指定界定符的话,cut使用默认的。一般我们要使用-d
来指定,比如指定斜杠:cut -f 2,3 -d "/" table.txt
取反
通常cut的模式是“选中”,如果加上--complement
选项则变成“清除”
指定列范围
-f
选项有几种写法,如下:
-f 2
:指定第二列-f 2,3,5
:指定第二、三、五列-f 2-
:指定第二及以后的列-f 2-5
:指定第二至五列-f
-5
:指定第一至五列
对于没有界定符的行,cut会将哪一行原原本本的输出。如果想要忽略这样的行,则使用-s
选项
sed:文本替换
sed是stream editor的缩写。比如最简单的指定文本替换:sed 's/aaa/bbb' input.txt
,将文件input.txt中所有的“aaa”替换成“bbb”。表达式可以用单引号或者双引号定义。
sed在不指定文件名的情况下,接受stdin作为输入源。
默认情况下,sed只是将替换的文本输出,使用-i
保存文件,或者是使用重定向来另存为新的文件。
默认情况下,sed只会替换每一行的第一处匹配。绝大多数情况下我们需要加上g
字符来要求匹配全行所有文本。比如上述命令应该修改为:sed 's/aaa/bbb/g' input.txt
。而如果是Ng
则表示从第N个匹配开始替换。
定界符
sed使用几种定界符/
, |
, :
,所以使用这些符号作为文本字符时,都需要转义。
删除
使用格式sed '/......d' file
来删除匹配的格式。删除空白行的时候可以这么写:sed '/^\s*$/d' file
替换后内容的指定
匹配内容如果是正则表达式,我们事先是不知道具体的字符串是什么的。但是如果要使用匹配到的内容来操作的话,我们需却又需要这个字符串。这个时候有两种方法:
方法一:使用&
来引用匹配到的文本(因此&
也是关键字)
方法二:使用正则表达式的“捕获分组”概念,匹配到的祖父穿的分组可以在替换字符串中引用,即“\1
”、“\2
”等方式。
注意,在sed中的用于分组的括号不能写作“()
”,而是“\(\)
”
替换级联
sed的替换操作可以级联起来,最直接的方法是使用管道:sed '...' | sed '...'
第二种方法是在模式中用分号分隔(所以分号也是关键字):sed '...;...'
第三种是使用-e
选项:sed -e '...' -e '...'
将Windows文本转换为UNIX文本
sed 's/^M//' filename > newfile
其中的“^M
”不是普通字符,需要用Ctrl + V + M
打出来。
脚本:对stdout的每一项进行操作
如果我们使用脚本,怎么读取一个命令输出的信息呢?如下:
for FILE in `find -iname '*.txt' -type f`
do
...... # 使用FILE变量操作
while