查看: 110|回复: 3

Python JSON校验:字段缺失、类型错误与null处理

[复制链接]
发表于 1 小时前 | 显示全部楼层 |阅读模式
JSON 能被 json.loads 解析,只能说明语法成立,不能说明字段齐全、类型正确、值在业务允许范围内。整理结果少负责人字段、把任务写成数字,甚至把“待确认”填进日期,仍可能混进后续流程。下面用完全虚构的待办样本和本地 Python 演示校验方法;样本为教程编写,不调用模型或网络接口,不代表验证了任何产品能力。

先约定输出契约,再接收结果。示例约定顶层为数组,每一项必须且只能有四个字段:task 为非空字符串,纯空白不算任务;owner 只能是 role_a、role_b 或 null;due 为严格 YYYY-MM-DD 有效日期或 null;status 为 todo、doing、done 之一,不能为 null。字段缺失和值未知是两回事:未知负责人、日期保留字段并填 null,不写字符串形式的 null、空字符串或猜测值;状态不明则退回确认,不替它猜成 todo。空数组在结构上允许,但不能据此证明原文没有待办。可以把契约写进整理要求,例如只返回符合契约的 JSON 数组、不得补造负责人或日期、不确定时用 null、不添加解释或 Markdown 围栏;这只是输出要求,不能代替接收端校验。

检查器 validate.py 使用标准库:先解析 JSON,再检查字段与值;通过 object_pairs_hook 拒绝重复键,避免同名字段被后值覆盖后悄悄通过;错误包含数组位置和字段路径;不自动修补数据,也不执行 JSON 中的文本。代码先检查类型再检查集合成员,数组、布尔值等错误类型不会触发成员检查异常;日期先限定格式,再检查实际日历日期,2026-02-30 不会因长得像日期而通过;JSON 的 null 会被 Python 解析成 None。
  1. import json
  2. import re
  3. import sys
  4. from datetime import date
  5. from pathlib import Path
  6. def unique_object(pairs):
  7.     result = {}
  8.     for key, value in pairs:
  9.         if key in result:
  10.             raise ValueError(f"duplicate key: {key}")
  11.         result[key] = value
  12.     return result
  13. def validate(data):
  14.     if not isinstance(data, list):
  15.         return ["$: expected array"]
  16.     errors = []
  17.     required = {"task", "owner", "due", "status"}
  18.     owners = {"role_a", "role_b"}
  19.     statuses = {"todo", "doing", "done"}
  20.     for index, item in enumerate(data):
  21.         path = f"$[{index}]"
  22.         if not isinstance(item, dict):
  23.             errors.append(f"{path}: expected object")
  24.             continue
  25.         for key in sorted(required - item.keys()):
  26.             errors.append(f"{path}.{key}: missing")
  27.         for key in sorted(item.keys() - required):
  28.             errors.append(f"{path}.{key}: unexpected field")
  29.         for key in sorted(required & item.keys()):
  30.             value = item[key]
  31.             error = None
  32.             if key == "task":
  33.                 if not isinstance(value, str) or not value.strip():
  34.                     error = "expected non-empty string"
  35.             elif key == "owner" and value is not None:
  36.                 if not isinstance(value, str) or value not in owners:
  37.                     error = "expected role_a, role_b or null"
  38.             elif key == "status":
  39.                 if not isinstance(value, str) or value not in statuses:
  40.                     error = "expected todo, doing or done"
  41.             elif key == "due" and value is not None:
  42.                 if not isinstance(value, str) or not re.fullmatch(
  43.                     r"[0-9]{4}-[0-9]{2}-[0-9]{2}", value
  44.                 ):
  45.                     error = "expected YYYY-MM-DD or null"
  46.                 else:
  47.                     try:
  48.                         date.fromisoformat(value)
  49.                     except ValueError:
  50.                         error = "invalid calendar date"
  51.             if error:
  52.                 errors.append(f"{path}.{key}: {error}")
  53.     return errors
  54. def main():
  55.     if len(sys.argv) != 2:
  56.         print("usage: python validate.py FILE.json", file=sys.stderr)
  57.         return 2
  58.     try:
  59.         text = Path(sys.argv[1]).read_text(encoding="utf-8")
  60.         data = json.loads(text, object_pairs_hook=unique_object)
  61.         errors = validate(data)
  62.         if errors:
  63.             raise ValueError("\n".join(errors))
  64.     except (OSError, UnicodeError, ValueError) as exc:
  65.         print(f"FAIL: {exc}", file=sys.stderr)
  66.         return 1
  67.     print(f"OK: {len(data)} item(s)")
  68.     return 0
  69. if __name__ == "__main__":
  70.     sys.exit(main())
复制代码

正确样本 valid.json:
  1. [
  2.   {"task": "整理演示资料目录", "owner": "role_a", "due": "2026-11-20", "status": "todo"},
  3.   {"task": "确认演示图的说明文字", "owner": null, "due": null, "status": "todo"}
  4. ]
复制代码

故意写错的 invalid.json:
  1. [
  2.   {"task": "整理演示资料目录", "due": null, "status": "waiting", "priority": 1},
  3.   {"task": 7, "owner": "role_c", "due": "2026-02-30", "status": ["todo"]}
  4. ]
复制代码

三个文件放在同一目录,在该目录运行:
  1. python -B validate.py valid.json
  2. python -B validate.py invalid.json
复制代码

2026年11月17日在本地 Python 3.15.0 环境实际运行,无需安装依赖。第一条命令的标准输出为:
  1. OK: 2 item(s)
复制代码

退出码为 0。第二条命令的标准错误输出汇总为以下错误项:

FAIL: $[0].owner: missing
$[0].priority: unexpected field
$[0].status: expected todo, doing or done
$[1].due: invalid calendar date
$[1].owner: expected role_a, role_b or null
$[1].status: expected todo, doing or done
$[1].task: expected non-empty string

退出码为 1,不能把这批数据继续当作校验成功。结构问题一次汇总;语法错误或重复键会在解析阶段直接失败。命令参数数量错误返回 2,文件读取或编码错误同样会明确报告并返回 1,没有用空数组掩盖失败。

通过之后,仍要回查原始材料。这段代码能发现缺少 owner 字段,发现不了原文有三项、结果只整理了两项。负责人即使在允许名单中,也可能分配错;日期合法,也可能不是原文约定的日期。因此把失败数据退回修正,把通过的数据与原始材料逐项核对,再决定是否进入业务流程。未知值也不等于已解决:null 是待确认信息的明确表示,不是自动安排负责人或到期提醒的依据。本例没有实现事实比对、任务去重、权限控制或生产环境的输入大小限制,结构合规只是其中一道检查。
回复

使用道具 举报

发表于 1 小时前 | 显示全部楼层

Re: Python JSON校验:字段缺失、类型错误与null处理

思路挺清楚,先定契约再校验这一点很关键。几个细节做得也实在:用 object_pairs_hook 拒重复键,避免后值覆盖;类型检查放在集合成员检查之前,数组、布尔值不会把成员判断带崩;日期先用正则卡格式再用 fromisoformat 验日历,2026-02-30 这种确实能挡住;null 只对 owner 和 due 放行、status 不允许 null,这个区分也符合业务语义。 不过示例代码有两处看着像笔误,建议核对一下。第一处是 unique_object 里遍历 pairs 时写成了 result = value,这样每轮都把 result 整个替换掉,最后只剩最后一个键值,应该是 result = value。第二处是 validate 的字段循环里 value = item,应该取 item,否则拿到的是整个字典,task、owner 等判断都会失真。这两处如果照原样跑,重复键虽然还能靠 key in result 报出来,但正常对象会被改坏,校验结果不可信。 另外正文在 invalid calendar 那里就断了,后面的报错拼接、类型分流和主流程没显示出来,如果方便可以补全,尤其想看看解析失败和顶层不是数组时怎么统一输出错误。空数组允许但注明不能证明原文没待办,这句提醒也很有必要,实际流程里很容易被当成“原文确实没有待办”。整体方法靠谱,把上面的小笔误修掉就能直接
回复 支持 反对

使用道具 举报

发表于 1 小时前 | 显示全部楼层

Re: Python JSON校验:字段缺失、类型错误与null处理

思路很对,先把输出契约定清楚再校验,比只依赖 json.loads 稳得多。代码里有两处笔误需要留意:unique_object 里应该是 result = value,现在写成 result = value,重复键检测和返回结果都会不对;校验循环里 value = item 应该是 value = item,否则每个字段都拿整个对象去判断,task、owner 等会误报。另外 object_pairs_hook 抛出的 ValueError 最好在调用 json.loads 的地方捕获并转成统一的解析错误,否则重复键会以未处理异常直接中断。日期那段用 fullmatch 加 fromisoformat 的思路挺稳,2026-02-30 会被日历校验拦住。整体契约、null 语义和“不自动修补”这几个点都值得保留。
回复 支持 反对

使用道具 举报

发表于 1 小时前 | 显示全部楼层

Re: Python JSON校验:字段缺失、类型错误与null处理

这篇思路很实用,先约定输出契约再接收结果,比单纯依赖 json.loads 靠谱很多。把字段缺失、类型错误、未知值用 null 保留、状态不明退回确认这些边界说清楚,尤其“不自动修补数据”和“不执行 JSON 文本”这两点,对后续流程很关键。用 object_pairs_hook 拒绝重复键也很细,能避免同名字段被覆盖后悄悄通过。 不过代码里有两处小笔误需要提醒一下:unique_object 里应该是 result = value,写成 result = value 会把字典覆盖掉;校验循环里应该是 value = item,写成 value = item 后面判断类型会不对。另外 due 分支最后的错误信息似乎截断了,invalid calendar 后面可以补完整,比如日期不是有效日历日期。整体思路没问题,修完这几处应该就能跑通。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-11-20 03:20 , Processed in 0.047340 second(s), 18 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部