由于个人需求，准备实现一个py本实现遍历目录下所有文件并计算md5输出到列表中的需求。

1 基本思路

2 文件遍历

首先，我们需要先搞清楚python对文件的遍历操作，这里我们需要使用os库的listdir函数进行遍历，然后将文件输出到python的list对象中，代码如下：

def list_all_files(rootdir):
    import os
    _files = []
    list = os.listdir(rootdir) #列出文件夹下所有的目录与文件
    for i in range(0,len(list)):
       path = os.path.join(rootdir,list[i])
       if os.path.isdir(path):
          _files.extend(list_all_files(path))
       if os.path.isfile(path):
           _files.append(path)
    return _files

这样，就可以通过以下代码获取目录下的所有文件：

list_all_files(root);

其中，root参数是要遍历的目录根路径。现在，我们需要将遍历到的文件进行md5计算，看如下代码：

def get_file_md5(file_path):
    if not os.path.isfile(file_path):
        return
    md5=hashlib.md5()
    f=file(file_path,'rb')
    if f:
        while True:
            b = f.read(8096)
            if not b:
                break
            md5.update(b)
        f.close()
    return md5.hexdigest()

一样，我们可以使用如下代码调用：

get_file_md5(filepath)

3 计算MD5

现在，还有个问题，我们可以通过list_all_files遍历目录，也可以通过get_file_md5计算md5，但是怎么写入文件？在这里，我们使用python的open方法，使用方式如下：

#打开文件
file = open(list_file,"w")
#写入文件
file.write(data)
#关闭文件
file.close

4 参数解析

我们的脚本是需要参数才能运行的，因此，还需要解决参数解析的问题，python本身可以通过sys对象获取参数，但这里，我们选择使用argparse进行参数解析，相关代码如下：

parse = argparse.ArgumentParser()
parse.add_argument('path')
parse.add_argument('list_file')
args = parse.parse_args()

argparse的ArgumentParser方法有如下参数，含义如下：

接下来，我们需要了解下添加参数函数add_argument，它的调用格式是：
ArgumentParser.add_argument(name or flags...[, action][, nargs][, const][, default][, type][, choices][, required][, help][, metavar][, dest])
调用参数含义是：

4.1 参数字符串

&emsp； 参数格式有以下2种：

parser.add_argument('-f', '--foo')
parser.add_argument('bar')

这2种有不同的使用格式，第一种，则需要在使用以-或者–加参数名的形式 后面追加实参，另一种则直接在特定位置写参数即可，如：

# -f格式
./test.py -f XXX
或
./test.py --foo xxx
# 不带-格式
./test.py XXX

特定的参数会按指定的格式位置和形式，被自动解析。

4.2 行为方式

action参数决定了参数解析器解析到特定参数时的特定行为，分为如下类型：

4.3 解析参数

最后，我们需要调用parse_args函数进行解析，完整解析代码如下：

parse = argparse.ArgumentParser()
parse.add_argument('path')
parse.add_argument('list_file')
parse.add_argument('-m','--match',dest='match',default='^.*$',nargs='?')
args = parse.parse_args()

使用时，只需要将脚本文件按如下方式调用:

./md5print.py /www tmp.txt # path = '/www',list_file='tmp.txt'

5 最后

写到最后，我想大家已经知道如何实现这个脚本了，以下是脚本的完整代码：

#!/usr/bin/python
# coding=utf-8

import argparse,sys,hashlib,os

parse = argparse.ArgumentParser()
parse.add_argument('path')
parse.add_argument('list_file')
parse.add_argument('-m','--match',dest='match',default='^.*$',nargs='?')
args = parse.parse_args()


def list_all_files(rootdir):
    import os
    _files = []
    list = os.listdir(rootdir) #列出文件夹下所有的目录与文件
    for i in range(0,len(list)):
       path = os.path.join(rootdir,list[i])
       if os.path.isdir(path):
          _files.extend(list_all_files(path))
       if os.path.isfile(path):
           _files.append(path)
    return _files


def get_file_md5(file_path):
    if not os.path.isfile(file_path):
        return
    md5=hashlib.md5()
    f=file(file_path,'rb')
    while True:
        b = f.read(8096)
        if not b:
            break
        md5.update(b)
    f.close()
    return md5.hexdigest()

def main():
    list = list_all_files(args.path)
    file = open(args.list_file,'w');
    if file:
        for filename in list:
            if re.match(args.match,filename) != None:
                md5 = get_file_md5(filename)
                file.write('%s|%s\n' % (md5,os.path.abspath(filename)))
        file.close()
if __name__ == '__main__':
    main()

6 参考

• Python 详解命令行解析 – argparse
• python选取文件夹，然后计算该文件夹下所有文件的md5值，并列出md5值相同的文件到log中