文件目录清单工具常用于项目归档、摄影素材管理、日志排查和交付物核对。原文围绕Python实现了一个可扫描目录、生成文件名列表并导出的工具,支持TXT、CSV、HTML等输出方向,并涉及按名称、日期、大小筛选、正则过滤、树状缩进、PyQt5界面和大目录性能优化。下面按可落地代码链路重组关键实现。
一、基础扫描:os.walk生成树状TXT清单
原文基础版用os.walk递归遍历目录,以root相对startpath的层级计算缩进,每层4个空格;再通过os.stat取得st_mtime和st_size,把修改时间转为datetime,把字节大小转成KB,写入TXT。代码结构如下:
- import os
- from datetime import datetime
- def list_files(startpath, output_file):
- with open(output_file, 'w', encoding='utf-8') as f:
- for root, dirs, files in os.walk(startpath):
- level = root.replace(startpath, '').count(os.sep)
- indent = ' ' * 4 * level
- f.write(f'{indent}{os.path.basename(root)}/\n')
- subindent = ' ' * 4 * (level + 1)
- for file in files:
- filepath = os.path.join(root, file)
- stat = os.stat(filepath)
- modified = datetime.fromtimestamp(stat.st_mtime)
- size = stat.st_size / 1024
- f.write(f'{subindent}{file} - {size:.2f}KB - {modified}\n')
- if __name__ == '__main__':
- list_files(r'C:\目标文件夹', 'output.txt')
复制代码
这里要注意一个实现细节:原文函数签名中的output_file默认值为None,但函数体直接open(output_file),因此实际调用时必须传入输出路径;若希望函数同时返回文件元数据列表,需要另写采集逻辑,而不是只依赖这个直接写文件的版本。
二、CSV导出与过滤:需要先统一数据结构
原文的CSV导出使用csv.writer,表头为“文件名、路径、大小(KB)、修改日期”;过滤函数filter_files按扩展名、最小KB、最大KB筛选,其中file[0]视为文件名,file[2]视为大小。代码逻辑如下:
- import csv
- def export_to_csv(file_list, csv_file):
- headers = ['文件名', '路径', '大小(KB)', '修改日期']
- with open(csv_file, 'w', newline='', encoding='utf-8') as f:
- writer = csv.writer(f)
- writer.writerow(headers)
- for file in file_list:
- writer.writerow(file)
- def filter_files(files, extension=None, min_size_kb=0, max_size_kb=float('inf')):
- filtered = []
- for file in files:
- if extension and not file[0].endswith(extension):
- continue
- if file[2] < min_size_kb or file[2] > max_size_kb:
- continue
- filtered.append(file)
- return filtered
复制代码
这段代码的接口衔接点是:基础版list_files直接写TXT,并不会返回file_list;要导出CSV,应先遍历目录并收集“文件名、完整路径、大小KB、修改日期”元组,再交给export_to_csv。否则表头字段与实际行数据容易错位。原文还给出扩展名、大小范围过滤组合,适合在生成清单前先裁剪结果。
三、PyQt5图形界面:选择目录与导出入口
原文用QMainWindow、QPushButton、QLabel和QFileDialog实现了一个轻量GUI:选择文件夹后启用导出按钮,导出对话框提供TXT和CSV过滤器,确认保存路径后调用list_files。核心代码如下:
- from PyQt5.QtWidgets import (QApplication, QMainWindow, QFileDialog,
- QVBoxLayout, QWidget, QPushButton, QLabel)
- class DirectoryLister(QMainWindow):
- def __init__(self):
- super().__init__()
- self.initUI()
- def initUI(self):
- self.setWindowTitle('目录列表工具')
- self.setGeometry(300, 300, 400, 200)
- layout = QVBoxLayout()
- self.btn_select = QPushButton('选择文件夹', self)
- self.btn_select.clicked.connect(self.select_directory)
- self.btn_export = QPushButton('导出列表', self)
- self.btn_export.clicked.connect(self.export_list)
- self.btn_export.setEnabled(False)
- self.label = QLabel('未选择文件夹', self)
- layout.addWidget(self.btn_select)
- layout.addWidget(self.btn_export)
- layout.addWidget(self.label)
- container = QWidget()
- container.setLayout(layout)
- self.setCentralWidget(container)
- def select_directory(self):
- dir_path = QFileDialog.getExistingDirectory(self, '选择文件夹')
- if dir_path:
- self.dir_path = dir_path
- self.label.setText(f'已选择: {dir_path}')
- self.btn_export.setEnabled(True)
- def export_list(self):
- options = QFileDialog.Options()
- save_path, _ = QFileDialog.getSaveFileName(self,
- '保存文件列表', '', 'Text Files (*.txt);;CSV Files (*.csv)',
- options=options)
- if save_path:
- list_files(self.dir_path, save_path)
- self.label.setText(f'列表已导出到: {save_path}')
复制代码
注意:如果用户在下拉框中选择CSV,而代码仍调用list_files,就会把TXT格式内容写进.csv文件。更稳妥的做法是根据save_path扩展名分支:TXT走list_files,CSV走先采集元组再export_to_csv。
四、大目录性能:即时写入、进度条与多进程
原文对10万+文件场景给出三类思路:多线程或多进程扫描、先扫顶层再延迟加载子目录、增加进度显示。写文件时不要把所有结果堆在内存,可以边遍历边写入:
- def large_dir_listing(path):
- with open('huge_dir.txt', 'w', encoding='utf-8') as f:
- for root, _, files in os.walk(path):
- for file in files:
- f.write(f'{root}/{file}\n')
复制代码
进度显示可用tqdm,先统计总文件数,再逐文件更新;原文示例中的process_file需要自行实现为实际处理函数。多进程版本则把每个(root, files)交给worker,返回(root, file)列表后在主进程汇总,适合扫描阶段并行化,但后续stat和写文件仍要评估进程间开销。
五、跨平台与安全细节
跨平台路径建议使用pathlib组合目录,写文件时可用newline='\n'统一UNIX换行;平台差异可用platform.system()判断。安全方面原文给出safe_join防止路径遍历:先用os.path.abspath规范化base和拼接结果,再检查full_path是否以base开头,不满足则抛出ValueError。敏感文件可通过EXCLUDE_FILES排除.env、config.ini,并过滤Office临时文件前缀~$;大文件可用MAX_FILE_SIZE=100MB限制。生产环境还应把base前缀校验加强为路径分隔符或commonpath判断,避免仅靠字符串startswith产生边界问题。
六、命令行、打包与测试
原文用argparse提供-p/--path必填、-o/--output输出文件、-e/--ext扩展名过滤;打包可用PyInstaller:pyinstaller --onefile --windowed dirlist.py;macOS可用py2applet生成setup后执行python setup.py py2app;Linux可制作.deb或.rpm并加入PATH。测试方面,原文用TemporaryDirectory创建a.txt、b.doc、c.pdf三个文件,断言扫描结果数量为3且包含a.txt,并建议覆盖Windows、Ubuntu LTS、macOS不同Python版本矩阵。
适用场景包括项目结项文件清单、摄影RAW素材索引、日志和临时文件扫描、客户交付物树状列表。实际使用时重点检查:权限异常要捕获PermissionError并跳过不可访问目录;输出编码统一UTF-8;CSV导出与TXT导出走不同函数分支;大目录避免一次性收集全部stat结果。 |