查看: 77|回复: 3

Python pathlib与shutil文件整理脚本实践

[复制链接]
发表于 20 分钟前 | 显示全部楼层 |阅读模式
文件整理是Python自动化里最容易落地的一类任务。下载目录堆积、临时缓存过期、报表按类型归档,本质上都落在四类操作上:路径解析、目录遍历、文件读写、复制移动删除。原文把核心库分成三块:os负责底层文件系统调用和传统路径拼接,pathlib用Path对象处理路径和遍历,shutil承担复制目录树、移动文件、删除非空目录等高级操作。新脚本可以优先用pathlib处理路径,用shutil做复制移动删除,os作为补充。

一、路径处理与目录遍历

字符串拼接路径在Windows上容易遇到分隔符混乱问题,pathlib把路径封装成Path对象,用 / 运算符拼接,并自动适配当前系统。Path对象还提供name、stem、suffix、parent等属性,批量重命名和按扩展名分类时很实用。注意suffix带点号,重命名拼接时要自行处理。
  1. from pathlib import Path
  2. current = Path.cwd()
  3. img_dir = current / 'data' / 'images'
  4. home = Path.home()
  5. abs_path = img_dir.resolve()
  6. p = Path('/home/user/project/report_2025.xlsx')
  7. print(p.name)
  8. print(p.stem)
  9. print(p.suffix)
  10. print(p.parent)
复制代码

遍历目录可按场景选择接口。iterdir()只列第一层,需要自己用is_dir()、is_file()判断;glob()只匹配当前目录,rglob()递归匹配子目录;rglob('*')会包含目录本身,过滤时要结合is_file()。os.walk返回root、dirs、files三元组,还可以原地修改dirs来剪枝,跳过node_modules、.git、__pycache__等无用目录,减少遍历量。
  1. from pathlib import Path
  2. d = Path('./data')
  3. for item in d.iterdir():
  4.     if item.is_dir():
  5.         print(f'目录: {item}')
  6.     elif item.is_file():
  7.         print(f'文件: {item}')
  8. for txt in d.glob('*.txt'):
  9.     print(txt)
  10. for txt in d.rglob('*.txt'):
  11.     print(txt)
  12. for file in d.rglob('*'):
  13.     if file.is_file():
  14.         print(file)
复制代码
  1. from pathlib import Path
  2. import os
  3. for root, dirs, files in os.walk('./data'):
  4.     dirs[:] = [d for d in dirs if d not in ('node_modules', '.git', '__pycache__')]
  5.     for f in files:
  6.         print(Path(root) / f)
复制代码

二、文件增删改移与目录级操作

创建文件前建议先创建父目录,mkdir(parents=True, exist_ok=True)是常用写法。写小文件可用write_text(),循环写入时用open()配合with更合适。encoding='utf-8'要显式指定,避免Windows默认编码与中文内容产生乱码;w模式会覆盖,追加要用a模式。
  1. from pathlib import Path
  2. p = Path('./output/result.txt')
  3. p.parent.mkdir(parents=True, exist_ok=True)
  4. p.write_text('hello world', encoding='utf-8')
  5. lines = ['line1', 'line2', 'line3']
  6. with open(p, 'w', encoding='utf-8') as f:
  7.     for line in lines:
  8.         f.write(line + chr(10))
  9. with open(p, 'r', encoding='utf-8') as f:
  10.     content = f.read()
复制代码

复制和移动主要用shutil。copy只复制内容,copy2会保留修改时间、访问时间等元数据,归档场景建议用copy2。移动前要确保目标父目录存在,否则会抛FileNotFoundError。删除文件用Path.unlink(),删除空目录用Path.rmdir(),删除非空目录树用shutil.rmtree,后者不经过回收站,执行前应核对路径。
  1. import shutil
  2. from pathlib import Path
  3. src = Path('./downloads/report.pdf')
  4. dst = Path('./archive/report_backup.pdf')
  5. shutil.copy2(src, dst)
  6. dst.parent.mkdir(parents=True, exist_ok=True)
  7. shutil.move(str(src), str(dst))
  8. p = Path('./temp/file.txt')
  9. if p.exists():
  10.     p.unlink()
  11. d = Path('./empty_dir')
  12. if d.exists():
  13.     d.rmdir()
复制代码

目录树复制用shutil.copytree,Python 3.8起支持dirs_exist_ok=True,目标目录已存在时不再抛FileExistsError。创建多级目录时parents=True和exist_ok=True两个参数都建议显式写出。
  1. from pathlib import Path
  2. import shutil
  3. out = Path('./output/2025/06/report')
  4. out.mkdir(parents=True, exist_ok=True)
  5. shutil.copytree(Path('./data'), Path('./backup_data'), dirs_exist_ok=True)
  6. p = Path('./temp_data')
  7. if p.exists():
  8.     shutil.rmtree(p)
复制代码

三、实战脚本一:下载目录按扩展名归档

下面脚本把目标目录中的文件按扩展名移动到对应分类目录。classify()用suffix.lower()统一大小写,避免.JPG和.jpg分成两个目录;目标文件重名时用while循环加数字后缀,防止覆盖已有文件;iterdir()只处理当前层,若要处理整个目录树可改用rglob('*')并判断is_file()。
  1. import shutil
  2. from pathlib import Path
  3. TARGET_DIR = Path('./downloads')
  4. RULES = {
  5.     'images': ['.jpg', '.jpeg', '.png', '.gif', '.bmp', '.webp'],
  6.     'documents': ['.pdf', '.doc', '.docx', '.xls', '.xlsx', '.ppt', '.pptx', '.txt', '.md'],
  7.     'archives': ['.zip', '.rar', '.7z', '.tar', '.gz'],
  8.     'installers': ['.exe', '.msi', '.dmg'],
  9.     'videos': ['.mp4', '.avi', '.mkv', '.mov'],
  10. }
  11. def classify(file_path: Path):
  12.     suffix = file_path.suffix.lower()
  13.     for category, exts in RULES.items():
  14.         if suffix in exts:
  15.             return category
  16.     return None
  17. def organize():
  18.     if not TARGET_DIR.exists():
  19.         print(f'目录不存在: {TARGET_DIR}')
  20.         return
  21.     for item in TARGET_DIR.iterdir():
  22.         if item.is_file() and not item.name.startswith('.'):
  23.             category = classify(item)
  24.             if category is None:
  25.                 continue
  26.             dest_dir = TARGET_DIR / category
  27.             dest_dir.mkdir(parents=True, exist_ok=True)
  28.             dest = dest_dir / item.name
  29.             counter = 1
  30.             while dest.exists():
  31.                 dest = dest_dir / f'{item.stem}_{counter}{item.suffix}'
  32.                 counter += 1
  33.             shutil.move(str(item), str(dest))
  34.             print(f'移动: {item.name} -> {category}/{dest.name}')
  35. if __name__ == '__main__':
  36.     organize()
复制代码

四、实战脚本二:按修改时间清理过期文件

清理脚本用stat().st_mtime获取修改时间,超过设定天数的文件执行unlink()。删除空目录时要把路径按层级从深到浅排序,key=lambda p: len(p.parts)配合reverse=True可先删子目录再删父目录;rmdir()只删空目录,非空会抛OSError,用try/except兜底。删除类脚本建议先加dry-run或注释掉unlink(),只打印待删文件,确认路径无误后再放开。
  1. import time
  2. from pathlib import Path
  3. CLEAN_DIR = Path('./temp_cache')
  4. MAX_AGE_DAYS = 30
  5. CLEAN_EMPTY_DIRS = True
  6. def clean_files():
  7.     if not CLEAN_DIR.exists():
  8.         print(f'目录不存在: {CLEAN_DIR}')
  9.         return
  10.     now = time.time()
  11.     max_age_seconds = MAX_AGE_DAYS * 24 * 60 * 60
  12.     deleted_count = 0
  13.     for item in CLEAN_DIR.rglob('*'):
  14.         if not item.is_file():
  15.             continue
  16.         mtime = item.stat().st_mtime
  17.         age_seconds = now - mtime
  18.         if age_seconds > max_age_seconds:
  19.             print(f'删除: {item} (已存在 {age_seconds / 3600 / 24:.1f} 天)')
  20.             item.unlink()
  21.             deleted_count += 1
  22.     if CLEAN_EMPTY_DIRS:
  23.         for dirpath in sorted(CLEAN_DIR.rglob('*'), key=lambda p: len(p.parts), reverse=True):
  24.             if dirpath.is_dir():
  25.                 try:
  26.                     dirpath.rmdir()
  27.                     print(f'删除空目录: {dirpath}')
  28.                 except OSError:
  29.                     pass
  30.     print(f'清理完成,共删除 {deleted_count} 个文件')
  31. if __name__ == '__main__':
  32.     clean_files()
复制代码

五、高频报错与排查要点

Windows下常见PermissionError: [WinError 32],原因是文件被其他程序占用,比如Excel打开了csv,脚本再删除或移动就会失败。处理顺序是先关闭占用程序,再用Process Explorer查找文件句柄,资源管理器预览导致时刷新窗口。另一个是[WinError 5]拒绝访问,多与只读属性或权限有关,可用os.chmod(p, 0o644)去掉只读后再删除。

路径异常可按现象排查:FileNotFoundError多为路径不存在或父目录未创建;NotADirectoryError是把文件路径当目录用;IsADirectoryError是把目录路径当文件用;FileExistsError是目标已存在,需按业务选择覆盖、跳过或加序号;OSError: [Errno 22] Invalid argument要检查文件名是否含系统不支持的尖括号、冒号、斜杠、竖线、问号、星号等字符;UnicodeEncodeError多与控制台编码有关,可设置PYTHONUTF8=1,或在代码里用sys.stdout.reconfigure(encoding='utf-8')。

遍历时不要边遍历边移动或删除目录结构,否则迭代结果可能失效,导致跳过或重复处理。正确做法是先收集目标列表,再统一处理:files = list(CLEAN_DIR.rglob('*.log')),然后循环移动或删除。

环境方面,先执行python --version确认版本。dirs_exist_ok是Python 3.8加入的参数,旧版本会报TypeError。Windows安装时勾选Add Python to PATH,VSCode中通过Ctrl+Shift+P执行Python: Select Interpreter选择解释器,多版本可用py -3.11指定。脚本打包成exe后工作目录可能变化,路径定位建议用Path(__file__).resolve().parent获取脚本所在目录,而不是依赖Path.cwd()。
  1. from pathlib import Path
  2. BASE_DIR = Path(__file__).resolve().parent
  3. data_dir = BASE_DIR / 'data'
  4. log_dir = BASE_DIR / 'logs'
复制代码

整体流程可以固化为:先规划分类规则和清理条件,再收集文件列表,接着处理重名与异常,最后打印日志或先dry-run确认。pathlib负责路径与遍历,shutil负责复制移动删除,配合显式编码、重名保护和路径核对,文件自动化脚本的稳定性会明显提高。
回复

使用道具 举报

发表于 15 分钟前 | 显示全部楼层

Re: Python pathlib与shutil文件整理脚本实践

这篇整理思路很清晰,pathlib 管路径、shutil 做复制移动删除、os.walk 做剪枝补充,分类很实用。有个小细节可以提醒一下:复制移动那段示例里,dst.parent.mkdir 最好放到 shutil.copy2 之前,不然 archive 目录不存在时会先报错;移动前同样先确保目标父目录存在。另外 rmtree 不经过回收站,实战脚本里加个路径打印或确认步骤会更稳。下载目录归档里用 suffix.lower() 统一大小写、重名时加数字后缀这些点都很落地,期待后续完整分类脚本。
回复 支持 反对

使用道具 举报

发表于 15 分钟前 | 显示全部楼层

Re: Python pathlib与shutil文件整理脚本实践

整理得挺系统的,pathlib 用 / 拼接确实比 os.path.join 顺手,而且 suffix 带点这个细节提醒得很到位,我第一次用的时候也在这上面卡过。补充一点实践里的体会:shutil.move 跨磁盘分区时底层其实是先复制再删除,大文件场景下如果中途中断可能留下半截文件,重要数据移动前最好确认一下目标分区。另外 copy2 保留 mtime 这点在归档时确实关键,之前图省事用了 copy,结果后面按修改时间排序全乱了。os.walk 里原地改 dirs 剪枝的写法也很实用,比遍历完再过滤省不少时间。实战脚本一按扩展名归档的重名 while 循环思路不错,不过正文好像到 rglob('*') 就截断了,期待后面完整的 classify 代码。
回复 支持 反对

使用道具 举报

发表于 15 分钟前 | 显示全部楼层

Re: Python pathlib与shutil文件整理脚本实践

感谢楼主分享,这篇把 os、pathlib 和 shutil 的分工讲得挺清楚,尤其是“新脚本优先 pathlib 处理路径、shutil 做复制移动删除、os 做补充”这个思路,实际写整理脚本时确实省心。几个点我比较有共鸣:suffix 带点号这个坑,第一次批量重命名时就踩过;rglob('*') 会把目录也带出来,必须配合 is_file() 过滤;还有 rmtree 不进回收站,执行前最好先把路径 resolve 出来打印确认,或者加个 dry-run 模式先看计划再动手。想继续看实战脚本一的完整版,特别是 classify 里扩展名到分类目录的映射怎么组织,以及重名时 while 加数字后缀那段怎么处理边界情况。另外 shutil.move 跨文件系统时底层是复制再删除,大文件场景下磁盘空间和中断后的残留也值得提一句。整体很实用,收藏了。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-11-20 03:20 , Processed in 0.023049 second(s), 18 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部