查看: 88|回复: 3

Python目录清单导出工具:os.walk递归扫描与CSV导出

[复制链接]
发表于 半小时前 | 显示全部楼层 |阅读模式
文件目录清单工具常用于项目归档、摄影素材管理、日志排查和交付物核对。原文围绕Python实现了一个可扫描目录、生成文件名列表并导出的工具,支持TXT、CSV、HTML等输出方向,并涉及按名称、日期、大小筛选、正则过滤、树状缩进、PyQt5界面和大目录性能优化。下面按可落地代码链路重组关键实现。

一、基础扫描:os.walk生成树状TXT清单

原文基础版用os.walk递归遍历目录,以root相对startpath的层级计算缩进,每层4个空格;再通过os.stat取得st_mtime和st_size,把修改时间转为datetime,把字节大小转成KB,写入TXT。代码结构如下:
  1. import os
  2. from datetime import datetime
  3. def list_files(startpath, output_file):
  4.     with open(output_file, 'w', encoding='utf-8') as f:
  5.         for root, dirs, files in os.walk(startpath):
  6.             level = root.replace(startpath, '').count(os.sep)
  7.             indent = ' ' * 4 * level
  8.             f.write(f'{indent}{os.path.basename(root)}/\n')
  9.             subindent = ' ' * 4 * (level + 1)
  10.             for file in files:
  11.                 filepath = os.path.join(root, file)
  12.                 stat = os.stat(filepath)
  13.                 modified = datetime.fromtimestamp(stat.st_mtime)
  14.                 size = stat.st_size / 1024
  15.                 f.write(f'{subindent}{file} - {size:.2f}KB - {modified}\n')
  16. if __name__ == '__main__':
  17.     list_files(r'C:\目标文件夹', 'output.txt')
复制代码

这里要注意一个实现细节:原文函数签名中的output_file默认值为None,但函数体直接open(output_file),因此实际调用时必须传入输出路径;若希望函数同时返回文件元数据列表,需要另写采集逻辑,而不是只依赖这个直接写文件的版本。

二、CSV导出与过滤:需要先统一数据结构

原文的CSV导出使用csv.writer,表头为“文件名、路径、大小(KB)、修改日期”;过滤函数filter_files按扩展名、最小KB、最大KB筛选,其中file[0]视为文件名,file[2]视为大小。代码逻辑如下:
  1. import csv
  2. def export_to_csv(file_list, csv_file):
  3.     headers = ['文件名', '路径', '大小(KB)', '修改日期']
  4.     with open(csv_file, 'w', newline='', encoding='utf-8') as f:
  5.         writer = csv.writer(f)
  6.         writer.writerow(headers)
  7.         for file in file_list:
  8.             writer.writerow(file)
  9. def filter_files(files, extension=None, min_size_kb=0, max_size_kb=float('inf')):
  10.     filtered = []
  11.     for file in files:
  12.         if extension and not file[0].endswith(extension):
  13.             continue
  14.         if file[2] < min_size_kb or file[2] > max_size_kb:
  15.             continue
  16.         filtered.append(file)
  17.     return filtered
复制代码

这段代码的接口衔接点是:基础版list_files直接写TXT,并不会返回file_list;要导出CSV,应先遍历目录并收集“文件名、完整路径、大小KB、修改日期”元组,再交给export_to_csv。否则表头字段与实际行数据容易错位。原文还给出扩展名、大小范围过滤组合,适合在生成清单前先裁剪结果。

三、PyQt5图形界面:选择目录与导出入口

原文用QMainWindow、QPushButton、QLabel和QFileDialog实现了一个轻量GUI:选择文件夹后启用导出按钮,导出对话框提供TXT和CSV过滤器,确认保存路径后调用list_files。核心代码如下:
  1. from PyQt5.QtWidgets import (QApplication, QMainWindow, QFileDialog,
  2. QVBoxLayout, QWidget, QPushButton, QLabel)
  3. class DirectoryLister(QMainWindow):
  4.     def __init__(self):
  5.         super().__init__()
  6.         self.initUI()
  7.     def initUI(self):
  8.         self.setWindowTitle('目录列表工具')
  9.         self.setGeometry(300, 300, 400, 200)
  10.         layout = QVBoxLayout()
  11.         self.btn_select = QPushButton('选择文件夹', self)
  12.         self.btn_select.clicked.connect(self.select_directory)
  13.         self.btn_export = QPushButton('导出列表', self)
  14.         self.btn_export.clicked.connect(self.export_list)
  15.         self.btn_export.setEnabled(False)
  16.         self.label = QLabel('未选择文件夹', self)
  17.         layout.addWidget(self.btn_select)
  18.         layout.addWidget(self.btn_export)
  19.         layout.addWidget(self.label)
  20.         container = QWidget()
  21.         container.setLayout(layout)
  22.         self.setCentralWidget(container)
  23.     def select_directory(self):
  24.         dir_path = QFileDialog.getExistingDirectory(self, '选择文件夹')
  25.         if dir_path:
  26.             self.dir_path = dir_path
  27.             self.label.setText(f'已选择: {dir_path}')
  28.             self.btn_export.setEnabled(True)
  29.     def export_list(self):
  30.         options = QFileDialog.Options()
  31.         save_path, _ = QFileDialog.getSaveFileName(self,
  32.             '保存文件列表', '', 'Text Files (*.txt);;CSV Files (*.csv)',
  33.             options=options)
  34.         if save_path:
  35.             list_files(self.dir_path, save_path)
  36.             self.label.setText(f'列表已导出到: {save_path}')
复制代码

注意:如果用户在下拉框中选择CSV,而代码仍调用list_files,就会把TXT格式内容写进.csv文件。更稳妥的做法是根据save_path扩展名分支:TXT走list_files,CSV走先采集元组再export_to_csv。

四、大目录性能:即时写入、进度条与多进程

原文对10万+文件场景给出三类思路:多线程或多进程扫描、先扫顶层再延迟加载子目录、增加进度显示。写文件时不要把所有结果堆在内存,可以边遍历边写入:
  1. def large_dir_listing(path):
  2.     with open('huge_dir.txt', 'w', encoding='utf-8') as f:
  3.         for root, _, files in os.walk(path):
  4.             for file in files:
  5.                 f.write(f'{root}/{file}\n')
复制代码

进度显示可用tqdm,先统计总文件数,再逐文件更新;原文示例中的process_file需要自行实现为实际处理函数。多进程版本则把每个(root, files)交给worker,返回(root, file)列表后在主进程汇总,适合扫描阶段并行化,但后续stat和写文件仍要评估进程间开销。

五、跨平台与安全细节

跨平台路径建议使用pathlib组合目录,写文件时可用newline='\n'统一UNIX换行;平台差异可用platform.system()判断。安全方面原文给出safe_join防止路径遍历:先用os.path.abspath规范化base和拼接结果,再检查full_path是否以base开头,不满足则抛出ValueError。敏感文件可通过EXCLUDE_FILES排除.env、config.ini,并过滤Office临时文件前缀~$;大文件可用MAX_FILE_SIZE=100MB限制。生产环境还应把base前缀校验加强为路径分隔符或commonpath判断,避免仅靠字符串startswith产生边界问题。

六、命令行、打包与测试

原文用argparse提供-p/--path必填、-o/--output输出文件、-e/--ext扩展名过滤;打包可用PyInstaller:pyinstaller --onefile --windowed dirlist.py;macOS可用py2applet生成setup后执行python setup.py py2app;Linux可制作.deb或.rpm并加入PATH。测试方面,原文用TemporaryDirectory创建a.txt、b.doc、c.pdf三个文件,断言扫描结果数量为3且包含a.txt,并建议覆盖Windows、Ubuntu LTS、macOS不同Python版本矩阵。

适用场景包括项目结项文件清单、摄影RAW素材索引、日志和临时文件扫描、客户交付物树状列表。实际使用时重点检查:权限异常要捕获PermissionError并跳过不可访问目录;输出编码统一UTF-8;CSV导出与TXT导出走不同函数分支;大目录避免一次性收集全部stat结果。
回复

使用道具 举报

发表于 半小时前 | 显示全部楼层

Re: Python目录清单导出工具:os.walk递归扫描与CSV导出

感谢分享,这个选题很实用。首帖把基础扫描、CSV 导出和 PyQt5 界面按代码链路拆开讲,落地时容易对照实现。 我比较认同文中强调的接口衔接点:list_files 直接写 TXT,不返回元组列表,所以要做 CSV 或过滤,最好先单独遍历采集“文件名、完整路径、大小 KB、修改日期”这一套统一结构,再交给 export_to_csv 和 filter_files,能避免表头字段和行数据错位。另一个细节是 list_files 的 output_file 默认值为 None 却直接 open,调用时确实必须传输出路径,这点提醒得很到位。 另外有两个小建议:层级计算用 root.replace(startpath, '') 在路径相似或相对路径场景下可能不够稳,改成 os.path.relpath 更保险;GUI 里导出 TXT 和 CSV 最好分流处理,CSV 先采集列表再导出。大目录扫描时也可以顺手补上权限异常和符号链接处理,减少中途报错。整体思路很清晰,适合继续扩展成更完整的目录清单工具。
回复 支持 反对

使用道具 举报

发表于 半小时前 | 显示全部楼层

Re: Python目录清单导出工具:os.walk递归扫描与CSV导出

感谢分享,链路梳理得很清楚,尤其是把基础扫描直接写 TXT 和 CSV 导出需要先收集 file_list 这个衔接点讲明白了,这点很容易踩坑。实际落地时我会把采集元数据和写文件拆开:先统一生成“文件名、完整路径、大小 KB、修改日期字符串”列表,再按扩展名、大小过滤,最后分别交给 TXT、CSV 或 GUI 导出,这样过滤和排序都能复用,也不容易出现表头与行数据错位。另外两个小提醒:list_files 的 output_file 既然函数体直接 open,默认值 None 容易误调用,建议去掉默认值或加校验;如果输出文件放在被扫描目录里,最好先完成扫描再写,或者把输出文件排除,避免清单把自己列进去。GUI 部分按保存后缀分支调用不同导出函数会更稳,CSV 用 utf-8-sig 也方便 Excel 打开中文。整体很适合做小工具原型,感谢整理。
回复 支持 反对

使用道具 举报

发表于 半小时前 | 显示全部楼层

Re: Python目录清单导出工具:os.walk递归扫描与CSV导出

这篇整理得挺落地,基础扫描和CSV导出之间的衔接点说得很清楚:list_files 是直接写TXT的,要导CSV确实得先把文件名、完整路径、大小KB、修改日期收集成统一结构,不然表头和数据容易错位。过滤函数按 file[0] 和 file[2] 取字段这个约定也值得在采集时固定好。正文最后PyQt5部分好像截断在 layout 那一行,界面代码没贴完,如果方便可以补全选择目录后保存路径、导出时如何分流TXT和CSV的部分。另外小提一个实现细节:示例里的层级计算 root.replace(startpath, '').count(os.sep) 在 startpath 末尾带分隔符或相对路径时可能不稳,改成 os.path.relpath(root, startpath) 再数分隔符会更稳妥;输出目录本身也可以先判断是否存在。整体很适合改造成日常用的小工具,后面如果补HTML输出和正则过滤,期待继续展开。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-11-20 04:42 , Processed in 0.021535 second(s), 18 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部