一、体感打卡要解决的问题
传统效率与自律习惯 App 的打卡监督容易流于形式，用户只按一下按钮，系统就记作完成。轻规划（AeroPlan）把 HarmonyOS 的 AR Engine Kit 引入习惯验证，通过前置摄像头和 NPU 面部网格推理，设计了四种 AR 体感打卡：微笑能量 SMILE_ENERGY、护眼模式 EYE_BLINK、颈椎拉伸 NECK_MOVE、专注定力 STEADY_FOCUS。它的目标不是做一次 AR 特效展示，而是把面部动作变成可量化的打卡条件，并让打卡过程有情绪反馈。
二、AR 数据管线与线程边界
原文给出的管线是：Camera Frame Stream 以约 30fps 进入 ARSession Update，产出的 Face Anchor Data 先经过 Frame Decimation Filter，按每 3 帧保留 1 帧的方式降为约 10Hz 采样流，再交给 TaskPool Worker 或计算线程，完成 Matrix 与 BlendShape 提取，最后由 Detector Engine 做体感判定，满足条件后回到 UI 线程触发组件渲染和动画。为了保证高刷新率鸿蒙设备上的界面渲染帧率维持在 120fps，不能让 NPU 推理和矩阵解算全压在 UI 线程；降频过滤在原文中可降低 CPU 能耗 60% 以上。
数据源层由前置摄像头采集图像帧，并送至 NPU 执行人脸关键点检测和神经网络 3D 网格拟合，特征数据挂载到面部锚点 ARFace。解算控制层由 ARFaceTracker 与 Filter 对回传帧流做滑动漏斗采样，抛弃冗余帧，再把表情混合系数、空间矩阵分发给判定算法。体感判定层由 Detectors 管理各个判定状态的生命周期。UI 表示层由 ArkUI View 接收进度回调，更新打卡动效，并在完成时触发震动回馈与日程状态同步。
三、ARSession 初始化与 ARFaceTracker
进入体感打卡页面时，需要拉起前置摄像头并初始化 ARSession，为其订阅面部追踪配置。ARFaceTracker 类包含设备能力自检、动态权限回调绑定，以及组件销毁时的资源安全清理。
启动流程上，先通过 AREngine.isArEngineSupported(AREngine.ARConfigType.FACE_TRACKING) 验证设备硬件及系统底层是否支持人脸追踪；如果当前已在追踪，则警告并返回。随后创建 ARSession 和 ARWorldTrackingConfig，调用 setFocusMode(AREngine.ARFocusMode.AUTO_FOCUS) 启用高精度自动对焦，保证近距离交互时特征点提取准确；调用 setSemanticMode(AREngine.ARSemanticMode.SEMANTIC_NONE) 关闭世界网格重建等语义理解，节省 NPU 算力开销。配置完成后注册 frameUpdate 监听，系统约以 30 FPS 高频推送。
在帧回调中，ARFaceTracker 通过 frameCounter 做性能降频过滤：每 3 帧抛弃 2 帧，把解算频率降至约 10Hz。取帧后调用 update()，再用 getAnchors(AREngine.ARFace) 获取面部锚点。个人打卡场景只提取并追踪距离摄像头最近的第一张人脸，也就是 faces[0]。最后 resume 运行 AR 引擎。页面暂停时 pause，彻底释放时 pause、off(frameUpdate) 并将 arSession 置空，避免内存泄露与相机长期占用。
四、表情混合系数与姿态矩阵
AREngine 提取了面部 800 余个网格点，并归纳为多维度的表情混合系数 faceBlendShapes，例如左侧眼睑闭合度、右侧嘴角上扬度等。它的数值区间是 [0.0, 1.0]，代表当前肌肉姿态在特定表情模板上的置信得分。这省去了手动根据关键点空间距离做坐标归一化的步骤，把物理拟合交给底层 NPU。
ARFace 会携带中心姿态对象 ARPose，它描述面部中心在世界坐标系中的空间转换。三维旋转一般通过四元数表示，以避免万向节锁问题；但判定颈椎拉伸等日常动作时，欧拉角中的俯仰 Pitch、偏航 Yaw 更容易被业务代码量化。原文给出的四元数 [x, y, z, w] 转欧拉角公式为：pitch = Math.asin(2 * (w * y - x * z))；yaw = Math.atan2(2 * (w * z + x * y), 1 - 2 * (y * y + z * z))。再乘以 180 / Math.PI 转成角度。这些计算在端侧每秒约 30 次运行。
五、四种检测器的判定逻辑
微笑能量：取 MOUTH_SMILE_LEFT 与 MOUTH_SMILE_RIGHT，计算平均值作为微笑置信度，要求置信度大于等于 0.8，并且持续 3 秒；如果中途微笑弧度跌落阈值，则计时器重置。用左右均值可防歪嘴或偏头误差。
护眼模式：取 EYE_BLINK_LEFT 与 EYE_BLINK_RIGHT 的均值。一次完整的深度眨眼周期定义为双眼睁开度良好（小于 0.25）到双眼闭合良好（大于 0.8）再到双眼完全睁开（小于 0.25）。只有这样才计入一次有效眨眼，累计 5 次触发成功。这样能防范用户只是眯眼，或者普通快速机械闪烁。
颈椎拉伸：读取 ARPose 的 getRotation 四元数 [x, y, z, w]，换算为 Pitch 与 Yaw。抬头/低头阈值 DEGREE_LIMIT_PITCH 为 15.0，左右扭头阈值 DEGREE_LIMIT_YAW 为 18.0。检测器用 Set 记录 UP、DOWN、LEFT、RIGHT，四个方向全部完成则触发总成功。
专注定力：取中心 pose 的 getTranslation 得到三维空间偏移 [x, y, z]。按 10Hz 下采样 10 秒，共采样 100 帧；分别计算 x、y、z 的标准差，再计算三维合位移标准差 sqrt(xSD * xSD + ySD * ySD + zSD * zSD)。若结果小于等于 MAX_STEADY_SD 即 0.012 米，则判定精准静止；否则判定晃动超标，打卡失败并重新引导。
六、工程容错与性能注意点
检测器不能假设每一帧都有完整数据。原文代码中，face.getFaceBlendShapes() 可能为空，face.getCenterPose() 可能为空，rotation.length 小于 4 或 translation.length 小于 3 时都要直接返回。判定成功或状态中断后应 reset，避免下一次打卡继承旧状态。
生命周期上，页面离开时 pause ARSession，组件销毁时 release 并注销 frameUpdate 监听，防止内存泄露与相机长期占用。性能上，核心手段是 30fps 到 10Hz 的帧抽取、TaskPool Worker 计算、AUTO_FOCUS 与 SEMANTIC_NONE 的取舍，以及只处理第一张人脸，减少无效解算。
七、小结
这套实践把 HarmonyOS AR Engine Kit 的面部追踪能力落到体感打卡：底层用 ARSession 和 ARFace 提供实时数据，中层用 faceBlendShapes 与 ARPose 做表情和姿态量化，上层用阈值、时序状态机和统计判定完成业务闭环。对开发者而言，关键不只是调用 API，而是把 AR 的帧流边界、线程边界和生命周期边界设计清楚，才能在保证判定精度的同时维持流畅的 UI 体验。 |
发表于