应用python编写shell脚本

类型：Python，创建时间：Dec. 30, 2011, 9:03 p.m.

今天同事叫我编写一个shell脚本。话说，虽然我受*nix的影响甚深，但是对于*nix里随处可见的sh脚本却是讨厌之极。为什么讨厌呢？首先是因为sh脚本那莫名其妙的语法，感觉就像随写随扔的程序，完全没有任何美感可言。其次是sh脚本的处理能力还是比较弱的，在文本处理、XML处理还有网络编程方面，基本上都要借助于perl,awk等一堆程序。我对这些程序也是不大喜欢的，况且学习第三方软件总要时间，还不如都用python好了。

那，python可以做shell脚本吗？首先介绍一个函数：

os.system(command)

这个函数可以调用shell运行命令行command并且返回它的返回值。试一下在python的解释器里输入os.system("ls -l")，就可以看到ls列出了当前目录下的文件。可以说，通过这个函数，python就拥有了shell的所有能力。呵呵。。不过，通常这条命令不需要用到。因为shell常用的那些命令在python中通常有对应而且同样简洁的写法。

shell中最常用的是ls命令，python对应的写法是：os.listdir(dirname)，这个函数返回字符串列表，里面是所有的文件名，不过不包含.和..。如果要遍历整个目录的话就会比较复杂一点。我们等下再说吧。先在解释器里试一下：

>>> os.listdir("/")
['tmp', 'misc', 'opt', 'root', '.autorelabel', 'sbin', 'srv', '.autofsck', 'mnt',
'usr', 'var', 'etc', 'selinux', 'lib', 'net', 'lost+found', 'sys', 'media', 
'dev', 'proc', 'boot', 'home', 'bin']

就像这样，接下去所有命令都可以在python的解释器里直接运行观看结果。

对应于cp命令的是：shutil.copy(src,dest)，这个函数有两个参数，参数src是指源文件的名字，参数dest则是目标文件或者目标目录的名字。如果dest是一个目录名，就会在那个目录下创建一个相同名字的文件。与shutil.copy函数相类似的是shutil.copy2(src,dest)，不过copy2`还会复制最后存取时间和最后更新时间。

不过，shell的cp命令还可以复制目录，python的shutil.copy却不行，第一个参数只能是一个文件。这怎么办？其实，python还有个shutil.copytree(src, dst [,symlinks]) 。参数多了一个symlinks，它是一个布尔值，如果是True的话就创建符号链接。

移动或者重命名文件和目录呢？估计被聪明的朋友猜到了，shutil.move(src,dst)，呵呵。。与mv命令类似，如果src和dst在同一个文件系统上，shutil.move只是简单改一下名字，如果src和dst在不同的文件系统上，shutil.move会先把src复制到dst，然后删除src文件。看到现在，大多数朋友应该已经对python的能力有点眉目了，接下来我就列个表，介绍一下其它的函数：

os.chdir(dirname)

把当前工作目录切换到dirname下
os.getcwd()

返回当前的工作目录路径
os.chroot(dirname)

把dirname作为进程的根目录。和*nix下的chroot命令类似
os.chmod(path,mode)

更改path的权限位。mode可以是以下值(使用or)的组合：
```
os.S_ISUID
os.S_ISGID
os.S_ENFMT
os.S_ISVTX
os.S_IREAD
os.S_IWRITE
os.S_IEXEC
os.S_IRWXU
os.S_IRUSR
os.S_IWUSR
os.S_IXUSR
os.S_IRWXG
os.S_IRGRP
os.S_IWGRP
os.S_IXGRP
os.S_IRWXO
os.S_IROTH
os.S_IWOTH
os.S_IXOTH
```
具体它们是什么含义，就不仔细说了，基本上就是R代表读,W代表写，X代表执行权限。USR代表用户，GRP代表组，OTH代表其它。
os.chown(path,uid,gid)

改变文件的属主。uid和gid为-1的时候不改变原来的属主。
os.link(src,dst)

创建硬连接
os.mkdir(path,[mode])

创建目录。mode的意义参见os.chmod()，默认是0777
os.makedirs(path,[mode])

和os.mkdir()类似，不过会先创建不存在的父目录。
os.readlink(path)

返回path这个符号链接所指向的路径
os.remove(path)

删除文件，不能用于删除目录
os.rmdir(path)

删除文件夹，不能用于删除文件
os.symlink(src,dst)

创建符号链接
shutil.rmtree(path[,ignore_errors[,onerror]])

删除文件夹

介绍了这么多，其实只要查一下os和shutil两个模块的文档就有了，呵呵。。真正编写shell脚本的时候还需要注意：

环境变量。python的环境变量保存在os.environ这个字典里，可以用普通字典的方法修改它，使用system启动其它程序的时候会自动被继承。比如：
```
os.environ["fish"]="nothing"
```

不过也要注意，环境变量的值只能是字符串。和shell有些不同的是，python没有export环境变量这个概念。为什么没有呢？因为python没有必要有:-)

os.path这个模块里包含了很多关于路径名处理的函数。在shell里路径名处理好像不是很重要，但是在python里经常需要用到。最常用的两个是分离和合并目录名和文件名：
os.path.split(path) -> (dirname,basename)

这个函数会把一个路径分离为两部分，比如：os.path.split("/foo/bar.dat")会返回("/foo","bar.dat")
os.path.join(dirname,basename)

这个函数会把目录名和文件名组合成一个完整的路径名，比如：os.path.join("/foo","bar.dat")会返回"/foo/bar.dat"。这个函数和os.path.split()刚好相反。

还有这些函数：

os.path.abspath(path)

把path转成绝对路径
os.path.expanduser(path)

把path中包含的"~"和"~user"转换成用户目录
os.path.expandvars(path)

根据环境变量的值替换path中包含的"$name"和"${name}"，比如环境变量FISH=nothing，那os.path.expandvars("$FISH/abc")会返回"nothing/abc"
os.path.normpath(path)

去掉path中包含的"."和".."
os.path.splitext(path)

把path分离成基本名和扩展名。比如：os.path.splitext("/foo/bar.tar.bz2")返回('/foo/bar.tar', '.bz2')。要注意它和os.path.split()的区别
在os模块有一个很好用的函数叫os.stat()没有介绍，因为os.path模块里包含了一组和它具有同样功能的函数，但是名字更好记一点。
os.path.exists(path)

判断文件或者目录是否存在
os.path.isfile(path)

判断path所指向的是否是一个普通文件，而不是目录
os.path.isdir(path)

判断path所指向的是否是一个目录，而不是普通文件
os.path.islink(path)

判断path所指向的是否是一个符号链接
os.path.ismount(path)

判断path所指向的是否是一个挂接点(mount point)
os.path.getatime(path)

返回path所指向的文件或者目录的最后存取时间。
os.path.getmtime(path)

返回path所指向的文件或者目录的最后修改时间
os.path.getctime(path)

返回path所指向的文件的创建时间
os.path.getsize(path)

返回path所指向的文件的大小
应用python编写shell脚本经常要用到os,shutil,glob(正则表达式的文件名),tempfile(临时文件),pwd(操作/etc/passwd文件),grp(操作/etc/group文件),commands(取得一个命令的输出)。前面两个已经基本上介绍完了，后面几个很简单，看一下文档就可以了。
sys.argv是一个列表，保存了python程序的命令行参数。其中sys.argv[0]是程序本身的名字。

不能光说不练，接下来我们就编写一个用于复制文件的简单脚本。前两天叫我写脚本的同事有个几万个文件的目录，他想复制这些文件到其它的目录，又不能直接复制目录本身。他试了一下cp src/* dest/结果报了一个命令行太长的错误，让我帮他写一个脚本。操起python来：

import sys,os.path,shutil
for f in os.listdir(sys.argv[1]):
    shutil.copy(os.path.join(sys.argv[1], f), sys.argv[2])

再试一下linuxapp版里的帖子——把一个文件夹下的所有文件重命名成10001～10999。可以这样写：

import os.path,sys
dirname=sys.argv[1]
i=10001
for f in os.listdir(dirname):
    src=os.path.join(dirname,f)
    if os.path.isdir(src):
        continue
    os.rename(src,str(i))
    i+=1

goldfish(Dec. 31, 2011, 3:17 a.m.)

接下来还得介绍一下os.walk(), popen()的使用。文章才足够完整。

StarCandy(July 23, 2016, 11:39 p.m.)

很有帮助，谢谢楼主！

amazonove(Sept. 9, 2016, 5:05 p.m.)

写的很好！！！！