查看: 290|回复: 3

ArkTS Canvas 2D端侧3DGS重建:自标定与泼溅调优

[复制链接]
发表于 3 小时前 | 显示全部楼层 |阅读模式
在鸿蒙 ArkUI 应用里做 3D Gaussian Splatting(3DGS)端侧重建,首先会撞上图形能力边界:ArkTS 侧没有 WebGL/GLSL 通道,能选的是 XComponent + Native(C++ 走 OpenGL ES/Vulkan,需要写 NAPI)或 Canvas 组件 + CanvasRenderingContext2D(纯 ArkTS 的 2D 光栅 API,没有着色器)。SplatForge 选择后者,目标不是播放预录动画,也不是读取写死的 JSON,而是验证一台手机、纯 ArkTS、没有第三方数值库时,能否把“取景、自标定、三角化、高斯烘焙、实时泼溅”完整跑通。应用拆成采集、重建、视口三段,每一段都能单独调参、单独观察,中间指标全部暴露到 UI。

一、工程分层与可观测流水线
SplatForge 的代码刻意让数学内核不认识 UI:core 目录放 Algebra、Linear、Camera、Rig、Scenes、Sfm、Triangulate、Splats、Raster、Pipeline、StudioModel 等纯数学模块,components 和 pages 只做面板与装配。端侧算法调试最怕“看不出中间态”:如果自标定写错,最终画面只会糊掉,分不清是矩阵解错、三角化崩了还是投影符号反了。因此流水线被拆成 8 个可观测阶段,每个阶段产出一行带真实耗时的 trace。实测 trace 为:合成真值 2400 表面点/797ms;环拍摆位 12 机位/覆盖 100.0%/2ms;特征观测 1200 轨迹/14400 次观测/σ=0.55px/20ms;两视图自标定 1200 对应/内点 100.0%/ΔR 39.37°/44ms;多视三角化 保留 1200 点/重投影 RMS 0.42px/132ms;高斯初始化 1200 个各向异性高斯/kNN 协方差 PCA/233ms;光度训练 20 轮/克隆 0 分裂 0 剪枝 0/1ms。这些数字是后续调参和排障的依据。

二、数据面用 SoA 平坦数组,减少每帧属性查找和 GC
三维点云和高斯集合如果走 AoS 结构,ArkTS 每帧投影几千个对象会产生大量属性查找和 GC 压力。SplatForge 的存储层直接用类型化数组:
  1. export class SplatStore {
  2.   count: number = 0;
  3.   px: Float32Array = new Float32Array(0);
  4.   py: Float32Array = new Float32Array(0);
  5.   pz: Float32Array = new Float32Array(0);
  6.   cov: Float32Array = new Float32Array(0); // 每点 6 个:xx xy xz yy yz zz
  7.   col: Float32Array = new Float32Array(0); // 每点 3 个:r g b
  8.   alpha: Float32Array = new Float32Array(0);
  9.   scale: Float32Array = new Float32Array(0);
  10.   error: Float32Array = new Float32Array(0);
  11.   colStr: string[] = []; // 预计算的 rgba 字符串
  12. }
复制代码
这里有两个关键取舍。协方差存 6 元组而不是旋转加尺度:3DGS 原始实现存四元数和三轴尺度,每次使用都要重建 3×3 矩阵;端侧每帧要算几千次 RΣRᵀ,提前展开成对称六元组可以省掉每帧矩阵乘法。颜色预计算成 rgba 字符串:Canvas 的 fillStyle 只接受字符串,如果每帧对每个点拼接 rgba 模板字符串,几千次拼接就是明显开销;颜色确定后缓存成字符串,光晕 pass 只做一次后缀替换。

三、环拍几何:先给取景方案打分,再谈重建
端侧重建常见翻车是“拍得不够”:机位全挤在一个高度,或绕得太快导致相邻帧基线过大匹配不上。SplatForge 第一步不是拍照,而是给取景方案打分。机位采用螺旋双环摆位,偶数帧走低环、奇数帧走高环,bandT 取 0.22 和 0.78,避免机位正好落在仰角极值上;高环再额外错开 12°,让相邻机位既有共同可见区域能匹配,又不至于基线过小能三角化。
覆盖评估把“拍到没有”变成视锥判定:在场景外接球上撒 36×18 个方向格,每个格子代表一个表面方向,判断该方向上的表面点是否落在任何一个机位的视锥里。实现上用相机旋转矩阵第三行作为光轴方向,点与光轴点积大于等于 cosCone 即视为在视锥内,省掉逐格除法,36×18×12=7776 次判定只要 2ms。最终 score 是四项加权:覆盖率 0.46、视差 0.26、密度 0.18、极区空洞 0.10。这个配比的原因是环拍天然补不齐两极,极区空洞不能重罚,否则用户会觉得怎么拍都拿不到 A;密度也不能权重太高,否则“拍 30 张但全挤在一起”也会被评为优秀。实测 12 机位、仰角上限 44° 时,环带覆盖 100%、极区空洞 0%、最小视差 37.7°、基线比 0.76,评级 A(96 分)。页面上所有数字都要求由本次运行实时计算,不允许预置。

四、两视图自标定:八点法的端侧实现细节
自标定先用两帧点对应解相对位姿,再与真值比对显示误差。八点法对坐标尺度极其敏感,原始像素坐标量级几百,矩阵条件数很差,所以先把像素坐标转到归一化平面,再做 Hartley 归一化。这里有一个符号陷阱:图像坐标系 y 轴向下,相机坐标系 y 轴向上,归一化时必须是 cam.cy - ys。如果写反,E 会变成上下镜像矩阵,内点率会断崖式掉到 30% 以下,很容易被误判成匹配质量差。
  1. function normalizePoints(match: MatchPair, cam: CameraPose, first: boolean): Float64Array {
  2.   const out: Float64Array = new Float64Array(match.count * 2);
  3.   const xs: Float64Array = first ? match.x1 : match.x2;
  4.   const ys: Float64Array = first ? match.y1 : match.y2;
  5.   for (let i = 0; i < match.count; i++) {
  6.     out[i * 2] = (xs[i] - cam.cx) / cam.fx;
  7.     out[i * 2 + 1] = (cam.cy - ys[i]) / cam.fy; // 注意 y 轴翻转:图像 y 向下,归一化 y 向上
  8.   }
  9.   return out;
  10. }
复制代码
标准八点法构造 A 后做 SVD,取最小奇异值对应右奇异向量。ArkTS 没有线性代数库,自己写 N×9 SVD 又慢又容易错,因此改为不构造 A,直接累加 AᵀA 的 9×9 Gram 矩阵,再用 Jacobi 特征分解求最小特征值对应的特征向量。Gram 矩阵每行只加一次外积,内存固定 81 个 double。Jacobi 对 9×9 对称矩阵几百次旋转即可收敛,而且天然保证输出是对称矩阵的特征向量,这是该做法的前提。
  1. function solveEssential(p1: Float64Array, p2: Float64Array, count: number): Float64Array {
  2.   const gram: Float64Array = new Float64Array(81);
  3.   const row: Float64Array = new Float64Array(9);
  4.   for (let i = 0; i < count; i++) {
  5.     const x1: number = p1[i * 2];
  6.     const y1: number = p1[i * 2 + 1];
  7.     const x2: number = p2[i * 2];
  8.     const y2: number = p2[i * 2 + 1];
  9.     row[0] = x2 * x1; row[1] = x2 * y1; row[2] = x2;
  10.     row[3] = y2 * x1; row[4] = y2 * y1; row[5] = y2;
  11.     row[6] = x1; row[7] = y1; row[8] = 1;
  12.     accumulateOuter(gram, row, 9, 1);
  13.   }
  14.   const e: Float64Array = new Float64Array(9);
  15.   nullVector(gram, 9, e);
  16.   return e;
  17. }
复制代码
八点法解出的矩阵不一定满足本质矩阵结构约束:两个相等非零奇异值加一个零奇异值。若不投影直接分解,旋转矩阵会带非正交性,累积到三角化就是系统性偏差。因此中间必须做本质矩阵流形投影,把两个非零奇异值强制相等、第三个强制为零,再用 E=U diag(s0,s1,0) Vᵀ 重建。分解 E 会得到 4 组 (R,t),SplatForge 用三角化手性投票选解:对每个对应点做两视图三角化,检查两个相机坐标系 z 是否都为正;投票没有对全部 1200 点做,而是按 count/48 抽样,因为投票只是粗判,48 个样本统计显著性已足够,全量投票会让自标定耗时翻 10 倍。
内点回代采用两轮求解:第一轮用全部匹配点解 E,用 Sampson 距离筛内点,第二轮只用内点重解。阈值写成 1.6/fx,而不是裸的归一化常数,是为了让门限始终等价于 1.6 像素重投影误差,不随图像分辨率漂移。实测 1200 个对应、内点率 100.0%,但 ΔR=39.37°。这个数字看似像 bug,实际是纯环拍小基线退化:12 个机位均分 360°,相邻两帧方位角只差 30°,高低环交错后实际平移量更小;基线趋近于零且场景近似中心对称时,本质矩阵分解出的旋转对噪声极其敏感,t 方向不可观,R 误差被放大。UI 上把它标成“自标定”而不是“精度”,反映的是该取景方案下两视图几何可解性有多差,不是算法写错。真正的修法是多视图光束法平差,用全部 12 个机位联合优化。

五、多视三角化:DLT 加带物理意义的门限
自标定只验证几何可解性,真正重建仍用真值机位,以解耦标定误差和三角化误差。三角化用标准多视 DLT:每个观测取两行 (u·P₃−P₁) 与 (v·P₃−P₂),累加成 4×4 Gram 矩阵,解最小特征向量。4×4 零空间求解同样用 Jacobi,代价可忽略。采样之后必须验算:若某观测落到相机后方(cam[2]≤1e-4)直接判废;过滤条件写 rms>2.6 或 depthMin<0.2 就丢弃。2.6px 不是拍脑袋,本次观测噪声 σ=0.55px,两视图三角化重投影残差量级约在 σ 的 3 到 5 倍,2.6px 约对应 4.7σ,能挡掉退化解又不会误杀正常点。实测 1200 条轨迹全部保留,重投影 RMS=0.42px,小于注入噪声 0.55px,说明多视约束做了平均,三角化没有放大误差,这是流水线收敛的证据。

六、kNN-PCA 高斯烘焙:sigma 因子不能凭经验拍
点云转各向异性高斯决定泼溅表面是能看出结构还是糊成色块。SplatForge 对每个点取 k 近邻,k 取 min(8,max(3,floor(count/80))),用插入排序维护 top-k 最近邻,因为 k 很小,插入排序比堆更快。邻域累加 3×3 协方差矩阵 Σ(d·dᵀ),做 Jacobi 特征分解得到三个主轴和特征值,再把特征值开方乘因子变成三个方向的 sigma。
起初按经验写 1.75,结果视口里海螺糊成一片发光雾球,每个高斯半径几乎等于物体尺寸。逐帧截图比对后定位到:特征值本身是邻域距离的平方均值,sqrt 之后已经是邻域尺度,再乘 1.75 等于让每个点覆盖自己 1.75 倍邻域,相邻高斯大面积重叠,深度排序再准也会糊。改法是缩到 0.55,并收紧 clamp 上限:
  1. const sigma0: number = clamp(0.55 * Math.sqrt(Math.max(eigen.values[0], 0)), 0.005, 0.075);
  2. const sigma1: number = clamp(0.55 * Math.sqrt(Math.max(eigen.values[1], 0)), 0.004, 0.060);
  3. const sigma2: number = clamp(0.55 * Math.sqrt(Math.max(eigen.values[2], 0)), 0.003, 0.045);
复制代码
这类参数调试不能只看最终画面,必须结合 kNN 邻域尺度、扁平比和逐帧截图定位,否则很容易把“高斯过大”误判成排序或投影问题。

七、实时泼溅:CPU 软件光栅的关键优化
视口渲染走 EWA 前向投影、深度排序、预算裁剪和软件光栅。因为 Canvas 只有 2D 光栅 API,没有 GPU 并行,端侧要做的是把每帧计算量压到可控范围:SoA 数组减少属性查找,协方差六元组省掉每帧矩阵乘法,颜色字符串缓存避免模板拼接,光晕 pass 只做字符串后缀替换,预算裁剪控制参与排序和填充的高斯数量。SplatForge 的意义不在于替代 CUDA/WebGL 实现,而在于验证鸿蒙 ArkTS 应用在没有 WebGL/GLSL 通道时,仍可用 Canvas 2D 把端侧 3DGS 的完整链路跑通,并且通过可观测流水线、物理意义明确的门限和退化解释,把“糊掉”拆成可定位的工程问题。
回复

使用道具 举报

发表于 3 小时前 | 显示全部楼层

Re: ArkTS Canvas 2D端侧3DGS重建:自标定与泼溅调优

这套拆法和可观测 trace 很赞,端侧调参最怕黑盒,把 8 个阶段和真实耗时都暴露出来,排障会舒服很多。SoA 平坦数组和 rgba 字符串缓存的取舍也合理,不过协方差预展开成六元组后,克隆、剪枝、尺度更新时最好在 trace 里补一个最小特征值或负对角计数,防止非半正定悄悄混进去;颜色字符串缓存也要注意光晕 pass 后缀替换后的失效范围。八点法 y 轴翻转那个坑太真实了,建议把 normalizePoints 和反投影做成合成机位对照测试,直接验证 E 的符号和极线方向,比只看内点率更稳。首帖到“ArkTS 没有”这里断了,后面没有数值库时 SVD 的端侧实现和条件数、耗时很关键,如果继续展开很想看。整体上这套纯 ArkTS 跑通取景、自标定、三角化、高斯烘焙和泼溅的验证思路很有参考价值。
回复 支持 反对

使用道具 举报

发表于 3 小时前 | 显示全部楼层

Re: ArkTS Canvas 2D端侧3DGS重建:自标定与泼溅调优

楼主这套把采集、重建、视口拆开、再把 8 个阶段 trace 暴露到 UI 的思路很实用,端侧算法调试最怕黑盒。几点可以继续打磨: 八点法那段断在 ArkTS 没现成 SVD,端侧不一定硬上完整 SVD。构造 A 后求 A 转置乘 A 的 9x9 对称矩阵,用 Jacobi 特征分解取最小特征值对应向量,代码量可控;Hartley 归一化最好不只做像素到归一化平面,再对匹配点做均值平移和尺度缩放,条件数会更稳。E 分解后的四组解要用三角化正深度做 cheirality 筛选,内点统计建议用 Sampson 距离或对称极线距离并按像素尺度设阈值,这样 ΔR 和 100% 内点才更有可比性。 trace 里“光度训练 20 轮/克隆 0 分裂 0 剪枝 0/1ms”看着像训练没真正产生梯度更新,或者样本太少;建议单独暴露每轮 loss、梯度范数和有效高斯数,否则容易把“跑完 20 轮”误当成优化生效。克隆和剪枝阈值也最好在 UI 上可调并记录触发次数。 SoA 和协方差六元组、rgba 字符串缓存的取舍很合理。Canvas 2D 泼溅真正瓶颈可能在每帧排序、fillStyle 切换和 save/restore;可以试试按深度分桶、限制透明点、预生成几档尺寸和颜色的光晕字符串,减少每帧字符串操作和状态切换。 覆盖评分的权重解释得清楚,极区空洞不重罚是对的。不过 36x18 方向格外接球加
回复 支持 反对

使用道具 举报

发表于 3 小时前 | 显示全部楼层

Re: ArkTS Canvas 2D端侧3DGS重建:自标定与泼溅调优

楼主这个拆法挺对味,尤其是把自标定、三角化、高斯初始化和泼溅都拆成可观测 trace,端侧调这种几何流水线最怕黑盒,能看到每阶段耗时和中间指标会省很多排查时间。SoA 平坦数组和预计算 rgba 字符串这两个取舍也很实际,ArkTS 每帧属性查找和字符串拼接确实容易成为隐形瓶颈。 看到最后停在 ArkTS 没有现成 SVD 这里,如果确实是这个卡点,八点法不一定要硬上完整 SVD,可以把 A 转成 A 转置乘 A 的对称矩阵,用 Jacobi 旋转求最小特征向量,Float64Array 实现起来不算大;但 Hartley 归一化和 RANSAC 最好保留,合成数据内点率 100% 很漂亮,真实手机拍摄的匹配噪声和误匹配会更复杂。那个图像 y 轴翻转的符号陷阱建议直接写成断言或单元测试,归一化后拿一组已知位姿回代,检查 E 的符号和重投影方向,比只靠内点率判断更稳。 另外有两个小建议:协方差存六元组省矩阵乘法很好,但每轮训练后最好做一次半正定修正或加小对角抖动,避免协方差被训成负特征值导致泼溅形状异常;Canvas 2D 泼溅这边可以把每帧绘制预算、分辨率缩放和按颜色或透明度分桶的策略也暴露到 UI,1200 个高斯在真机上不一定稳,提前看到绘制耗时分布会更好调。环拍评分四项权重里,建议把分项得分和“为什么没到 A”的原因也展示出来,对用户取景引导会更有帮助。整体思路很扎实,期待后
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-11-16 07:51 , Processed in 0.020429 second(s), 18 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部