Python文件操作

前言：

 Python中有多个内置模块来操作文件与目录（os、os.path、shutil、pathlib等等）。

os.path

os.path模块主要用于获取文件的属性，包含以下几种常用方法：

路径操作：

print(os.path.splitext('.info'))	# ('.info', '')
print(os.path.splitext('test.txt'))	# ('test', '.txt')
print(os.path.splitext(r'c:\tmp\test.txt'))	# ('c:\\tmp\\test', '.txt')

属性操作：

文件类型判断：

文件

文件读写

Python中读写文件非常简单，只需通过open函数以合适的方式打开，然后即可操作。

with open('data.txt', 'r', encoding='utf-8') as f:
    data = f.read()
    print('contents: {}'.format(data))

open()用于打开一个文件，并返回文件对象（打开失败会抛出 OSError异常）;文件对象不再使用时，一定要关闭（可用with语句保证自动关闭）。

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)

参数说明:

• file: 文件路径（相对或者绝对路径）或文件句柄（interger）。
• mode: 文件打开模式（默认是r）。
• buffering: 设置缓冲（0：关闭缓冲；1：只对文本文件有效，设定行缓冲；其他：设定缓冲的字节数）。
• encoding: 设置编解码模式（只对文本模式有效，如’utf-8’）。
• errors: 设定编解码的报错级别：
  • strict：默认，编解码出错时，抛出ValueError异常；
  • ignore：忽略编解码错误（可能会丢失数据）；
  • replace：使用替换标识（如’?'）替代无效数据；
  • surrogateescape：使用私有区编码（U+DC80 to U+DCFF）来替换错误字节；在处理未知编码文件时有效；
  • xmlcharrefreplace：写文件有效；错误字节被替换为XML字符（&#nnn;）；
  • backslashreplace：使用Python’s backslashed escape sequences替换错误字节；
  • namereplace： 写文件有效；错误字节被替换为\N{...}；
• newline: 文本文件有效，如何处理换行符
• closefd: 使用文件句柄时，是否关闭；使用文件路径时，必须为True；

打开模式Mode（t：文本；b：二进制）：

文件对象的操作函数：

文件删除

删除文件可以：

• os.remove()/os.unlink()
• pathlib.Path.unlink()如果传递的不是文件，则会抛出OSError异常。

文件复制移动

复制文件：

• shutil.copy(src, dst)：把文件src复制到dst中指定的位置（若dst是文件，则该文件的内容将替换为src的内容；若dst是目录，则src将被复制到该目录中）；
• shutil.copy2()：会保留文件的详细信息；

移动文件：

• os.rename(src, dst)：重命名文件；
• shutil.move(src，dst)：将文件移动到指定的位置。

目录

创建目录

有多种创建目录的方法：

os.makedirs(name, mode=0o777, exist_ok=False)
若目录已存在，则抛出FileExistsError异常；
传递exist_ok=True，则目录存在时，不报错。

删除目录

有以下删除目录的函数：

rmdir在目录不为空，则引发OSError异常。

复制目录

• shutil.copytree()复制整个目录及其子文件、目录。
• shutil.move(src，dst)：将文件或目录移动到指定的位置。
• os.rename(src, dst)：重命名文件或目录；
  • Windows下，若dst存在则抛出FileExistsError异常；
  • Unix下，若src与dst不同时为文件或目录会抛出IsADirectoryError/NotADirectoryError异常；重命名目录时，若dst非空，则抛出OSError异常。 枚举目录

枚举目录

列表，可通过：

• os.scandir()：推荐方法；返回一个包含DirEntry迭代器；
• pathlib.Path()对象的iterdir()方法：返回包含目录对象的迭代器；
• os.listdir()：遗留方法；返回一个包含子文件(夹)名的列表；

with os.scandir('/tmp') as entries:
    for en in entries:
        if en.is_file():
            print(en.name)

DirEntry属性与方法：

• name：文件名
• path：完整路径名
• is_dir()：是文件夹，返回
• True；is_file()：是文件，返回
• True；is_symlink()：是symbolic link，返回True；
• stat()：返回文件属性信息stat_result；

遍历（游走）目录

os.walk()用于通过在目录树中游走输出目录中的文件名：
os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])

• top：要开始遍历的顶层目录；
• topdown：True，优先遍历top目录；False，优先遍历子目录；
• onerror：当walk出错时，调用的callable函数；
• followlinks：是否遍历软连接；返回为一个三元组(root,dirs,files)：
• root：当前正在遍历的这个文件夹（路径）
• dirs：当前目录下所有目录名列表；
• files:当前目录下所有文件名列表；

for root, dirs, files in os.walk(r"D:\temp"):
    print(root, files)

# D:\temp ['add.log', 'out.yml']
# D:\temp\picture ['1.jpeg']
# D:\temp\result\log ['1.log', '2.log']

文件名模式匹配

获取目录列表后，要搜索和特定的模式匹配的文件：

fnmatch

nmatch模块主要用于文件名称的匹配，比简单的字符串匹配更强大，但比正则表达式稍弱。

fnmatch支持使用如下几个通配符：

• *：可匹配0或多个任意字符。
• ?：可匹配一个任意字符。
• [字符序列]：可匹配字符序列中的任意字符；支持中画线表示法，如 [a-c]表示a、b和c字符中任意一个。
• [!字符序列]：可匹配不在字符序列中的任意字符。

for name in os.listdir('/tmp'):
    if fnmatch.fnmatch(name, 'log-*.txt'):
        print(name)

glob

glob模块中的glob()返回所有匹配的文件路径列表；iglob()与glob基本相同，只是返回的是迭代器（非列表）。
glob.glob(pathname, *, recursive=False)

参数说明：

• pathname：是要匹配的路径pattern，可支持通配符* ? []；
• recursive：若为True，则pattern中的**会匹配零或多层目录及子目录。

如获取当前目录及其子目录下的所有py文件：

# files = glob.iglob(r"D:\temp\**\*.log", recursive=True)
files = glob.iglob(r"**\*.py", recursive=True)
for f in files:
    print(f)

## 返回文件中包含匹配的路径；
# log的返回为：
    # D:\temp\add.log
    # D:\temp\result\result.log
    # D:\temp\result\log\test2022.log
# py的返回为
    # main.py
    # files\file_handle.py

临时文件与目录

tempfile模块用于创建临时文件和目录（程序停止运行后会自动删除这些临时文件），创建位置依次为：

• Windows下：C:\TEMP，C:\TMP，当前目录；
• 其他系统：/tmp，/var/tmp，/usr/tmp，当前目录；

with tempfile.TemporaryFile('w+t') as fp:
   fp.write('Hello world!')
   fp.seek(0)
   fp.read()
# 此处，文件已被删除

tmp = ''
with tempfile.TemporaryDirectory() as tmpdir:
    print('Created temporary directory ', tmpdir)
    tmp = tmpdir
    print(os.path.exists(tmpdir))
# 此处，目录已被删除