查看: 324|回复: 3

ArkTS Canvas实现3DGS渲染器:深度排序与性能优化

[复制链接]
发表于 4 小时前 | 显示全部楼层 |阅读模式
在鸿蒙端侧落地3D Gaussian Splatting(3DGS)时,常见方案依赖Vulkan/OpenGL ES和自定义shader。但ArkUI原生绘制里,零依赖、跨设备一致的画布是Canvas加CanvasRenderingContext2D。项目Gaussary用纯ArkTS实现了一个3DGS工作台:不靠WebGL、不引三方库、不加载模型文件,完成解析几何体采样、2D Canvas深度排序叠光、训练压缩交付预算台,以及ArkUI状态与Canvas重绘治理。以下从工程分层、渲染管线、排序叠光与性能取舍几方面拆解。

【工程分层与三条纪律】
工程把渲染、数学与UI彻底分开:core/存放纯逻辑层,components/放ArkUI组件,pages/Index.ets作为状态中枢。三条纪律贯穿始终:core/不import任何ArkUI符号,渲染器和数学库只认识Float32Array与number,因此可被放进Worker或Node复用;GaussianRenderer不持有业务状态,所有可变缓冲都是类字段,每帧复用,渲染过程中零对象分配;只有Index.ets有权改业务状态,子组件一律@Prop接收、回调上报,形成严格单向数据流。这三个取舍直接决定了软件渲染器能否在30帧循环里活下来。

【SoA布局与四道裁剪】
高斯集合采用结构体数组的转置(SoA),每个字段一条Float32Array。一个高斯对应11条数组里的同一个下标:位置px/py/pz,三主轴尺度sx/sy/sz,四元数qx/qy/qz/qw,不透明度opacity,基色cr/cg/cb,rim色tr/tg/tb,以及mat材质分类。这样渲染主循环按i顺序读三条连续Float32Array,缓存友好;对象数组则是指针追逐。渲染器再维护两套候选缓冲,容量只在ensure()里检查一次,热路径几乎不扩容。
  1. export class SplatCloud {
  2.   count: number = 0;
  3.   px: Float32Array; py: Float32Array; pz: Float32Array;
  4.   sx: Float32Array; sy: Float32Array; sz: Float32Array;
  5.   qx: Float32Array; qy: Float32Array; qz: Float32Array; qw: Float32Array;
  6.   opacity: Float32Array;
  7.   cr: Float32Array; cg: Float32Array; cb: Float32Array;
  8.   tr: Float32Array; tg: Float32Array; tb: Float32Array;
  9.   mat: Uint8Array;
  10. }
复制代码
主循环每个高斯连过四道闸门,顺序按开销从低到高:①预算闸门,不透明度和尺度阈值直接跳过;②视锥闸门,相机空间z必须为正且不在近平面后;③屏幕闸门,投影后扩90px外框,画布外丢弃;④亚像素闸门,半径不足0.55px的光斑对像素值贡献可忽略,直接丢。最贵的四元数展开和Math.max放在最后,让最多数据先被排除。
  1. if (alphaBase < opt.pruneOpacity || cloud.sz[i] < opt.pruneScale) { continue; }
  2. const vz = dx * b.fx + dy * b.fy + dz * b.fz;
  3. if (vz < 0.12) { continue; }
  4. if (sx < -90 || sx > width + 90 || sy < -90 || sy > height + 90) { continue; }
  5. let rad = (world * focal) / vz;
  6. if (rad < 0.55) { continue; }
复制代码
陶瓮场景由旋转体轮廓、两颗石膏球、两个金环、四块石子和一层微尘采样成23 560个高斯。旋转体采样只需一条2D轮廓曲线,法线由切线逆时针旋转90度直接算出,省掉手工建面。

【深度排序:192个桶替代比较排序】
3DGS合成必须后向前alpha混合,否则半透明前后关系错乱。每帧给6000个高斯用Array.sort建对象数组再比较,分配和回调开销会吃掉预算。渲染器用192个桶做计数排序:投影阶段顺手算桶号,vz越大越远桶号越小,越先画;再一遍前缀和、一遍重排,只搬运6个标量,不搬对象。FAR_Z=14、192桶对应桶宽约0.073世界单位,陶瓮最大尺度0.505,桶宽只有最大高斯直径的1/7,视觉上不可见,却把O(n log n)带比较器降到O(n+k)三趟线性扫描。
  1. const BUCKETS = 192;
  2. const FAR_Z = 14;
  3. let bucket = Math.floor((1 - clamp01(vz / FAR_Z)) * (BUCKETS - 1));
  4. this.bucketA[count] = bucket < 0 ? 0 : (bucket > BUCKETS - 1 ? BUCKETS - 1 : bucket);
  5. for (let i = 0; i < count; i++) {
  6.   const slot = this.cursor[this.bucketA[i]];
  7.   this.cursor[this.bucketA[i]] = slot + 1;
  8.   this.sxB[slot] = this.sxA[i];
  9.   this.radB[slot] = this.radA[i];
  10.   this.colB[slot * 3] = this.colA[i * 3];
  11. }
复制代码

【径向渐变叠光与哈希抽稀】
每个光斑不画旋转椭圆,而是画圆,半径取面向相机时的最大主轴与该高斯法向夹角做混合。facing取绝对值,让背面高斯也参与叠光,避免物体转过来时突然变薄;亚像素rad<0.55作为性能阀门。facing还被复用来做边缘光:rimWeight=Math.pow(1-facing,2)*shGain,shGain由球谐阶数决定[0.25,0.6,1.0,1.3],一个变量同时干半径混合和菲涅尔边缘光两件事。
绘制用4个色标的径向渐变拟合高斯核,spread=2.7×rad,外扩再小会出现硬切边,再大则光晕雾化且fillRect面积平方增长。中间色标alpha*0.58和alpha*0.18不是理论值,是因为Canvas的source-over近似alpha累加,几百个光斑叠加会过曝,必须让单光斑贡献比物理值低一档。
  1. const spread = rad * 2.7;
  2. const gradient = ctx.createRadialGradient(sx, sy, 0, sx, sy, spread);
  3. gradient.addColorStop(0, rgba(r, g, bl, alpha));
  4. gradient.addColorStop(0.45, rgba(r, g, bl, alpha * 0.58));
  5. gradient.addColorStop(0.74, rgba(r, g, bl, alpha * 0.18));
  6. gradient.addColorStop(1, rgba(r, g, bl, 0));
  7. ctx.fillStyle = gradient;
  8. ctx.fillRect(sx - spread, sy - spread, spread * 2, spread * 2);
复制代码
当候选数超过maxSplats,用乘法哈希做伪随机均匀抽稀,而不是按索引取模成片丢弃。Knuth黄金比例常数2654435761乘i再取低位,把连续i打散成伪随机序列,被丢光斑在空间上均匀撒开,视觉表现为整体细腻度轻微下降,不会出条带状空洞。>>>0保证无符号32位,避免负数取模。
  1. if (count >= budget) {
  2.   const hash = ((i * 2654435761) >>> 0) % 1000;
  3.   if (hash > 340) { continue; }
  4. }
复制代码

【性能解剖与背景一致性】
视口统计显示6,848光斑、185 ms整帧CPU时间,包含排序、叠光、叠加层和背景网格。作者给出的优化方向是启动时预渲染32档白色径向精灵,绘制时按半径选档drawImage并用globalAlpha着色,热路径从6000次渐变创建变成6000次位图blit,理论上可压到20 ms以内。代价是丢失逐光斑独立色相,需要额外着色pass或分色桶;还牵出OffscreenCanvas在模拟器上transferToImageBitmap的兼容性验证,原文将其标为方案而非已完成。
背景不是纯色:竖向三段线性渐变压暗上下,一个大半径径向辉光让视口中心像被灯照到,可选极坐标地面网格。网格把世界坐标里的同心圆和放射线逐点投影再连线,和光斑走同一套变换,所以相机一动网格与物体严格同步;若用简化投影,转视角会出现网格和物体不同步的滑动感。

【训练显影模型与取舍总结】
真跑3DGS训练要GPU分钟级,手机上不可能,因此“显影”层用解析模型让重建过程可见:损失由0.418*exp(-4.4t)给出前20%陡降,0.0125*(1-t)做缓慢尾项,再加幅度0.0016的高斯噪声,下限钳制0.0086对应可交付阈值;PSNR从11.8 dB收敛到36.4 dB。显影度不是直接取progress,而是独立映射,避免动画与损失曲线脱节。
整体看,这个ArkTS Canvas渲染器的关键词是取舍:用圆近似替掉屏幕空间椭圆特征分解,用192桶计数排序替掉比较排序,用黄金比例哈希替掉顺序抽稀,用亚像素剔除和零分配保住帧预算。它不追求GPU路径的物理精确,而是在鸿蒙ArkUI零依赖画布上把3DGS的深度排序、叠光与性能边界跑通,适合端侧软件渲染和调试排障场景参考。
回复

使用道具 举报

发表于 4 小时前 | 显示全部楼层

Re: ArkTS Canvas实现3DGS渲染器:深度排序与性能优化

楼主这篇拆得很实在,工程分层那三条纪律很关键,尤其是 core 不依赖 ArkUI、渲染器不持业务状态、Index.ets 单点管状态,对软渲染循环能活下来帮助很大。SoA 布局和四道裁剪按开销从低到高排,思路很顺;用 192 个桶做计数排序替代比较排序,也是这个场景里很实用的取舍。 有几个点想和楼主讨论:贴子里强调渲染过程零对象分配,但每个光斑都 createRadialGradient 再 addColorStop,Canvas 渐变对象本身在热路径上是否会成为隐形成本?如果对颜色和半径做量化缓存,或者按材质分类尽量批绘,会不会更稳一些。另外屏幕闸门固定扩 90px,而光斑外扩是 spread=2.7×rad,近处 rad 较大时 90px 外框是否可能不够,是否需要按 spread 动态扩。桶排序里 FAR_Z=14 之外的高斯 clamp 到桶 0,如果没有先裁掉,排序上会不会有混叠;固定桶宽相对最大尺度 1/7 在陶瓮场景成立,换场景是否考虑自适应桶数。亚像素 0.55 和透明度阈值如果能跟设备像素比或动态预算挂钩,可能更通用。期待后续把训练压缩交付预算台展开讲讲。
回复 支持 反对

使用道具 举报

发表于 4 小时前 | 显示全部楼层

Re: ArkTS Canvas实现3DGS渲染器:深度排序与性能优化

这套思路很扎实,尤其是 core 不依赖 ArkUI、渲染器热路径零对象分配、只有 Index.ets 改业务状态这三条纪律,基本决定了 Canvas 软件渲染能不能稳住帧率。SoA 布局和四道闸门的顺序也很工程化,把便宜判断放前面,四元数展开和 Math.max 后置,候选缓冲只在 ensure 里扩容,这些细节比单纯讲算法更有参考价值。 192 个桶做计数排序替代 Array.sort 很合适,桶宽约 0.073,按最大尺度半径 0.505 算差不多是 1/7,视觉上应该能接受。想请教两个点:一是每帧给可见高斯 createRadialGradient,在几千个量级下创建渐变对象本身会不会成为新热点,有没有考虑按半径和颜色分档缓存离屏精灵或复用渐变;二是屏幕闸门固定外扩 90px,而 spread 是 2.7×rad,对于 rad 超过约 33px 的大光斑,外扩 90px 会不会不够,是否应按 spread 加余量来裁剪。 另外 facing 取绝对值让背面高斯也参与叠光,又复用做 rim 边缘光,一个变量干两件事很巧。alpha 用 0.58 和 0.18 压过曝这种经验参数也很真实,Canvas 的 source-over 近似累加确实不能照搬物理值。整体看是能在鸿蒙端侧跑起来的务实方案,期待后续性能数据和 Worker 复用情况。
回复 支持 反对

使用道具 举报

发表于 4 小时前 | 显示全部楼层

Re: ArkTS Canvas实现3DGS渲染器:深度排序与性能优化

这个思路挺有意思的,用 Canvas 2D 去做 3DGS 的软件渲染,看起来有点反常规,但放到鸿蒙端侧“零依赖、跨设备一致”这个约束下,其实很合理。core 层不 import ArkUI 符号、可以搬进 Worker 复用,这条纪律对软件渲染器来说几乎是生死线;加上每帧复用缓冲、零对象分配,30 帧循环才有活下来的可能。 四道裁剪按开销从低到高排,这个顺序我完全认同,尤其是把四元数展开和 Math.max 留到最后,让便宜的条件先把绝大多数数据排除掉。SoA 那 11 条 Float32Array 也对,主循环按 i 连续读取,比对象数组的指针追逐稳定太多。 桶排序这块想讨论一下:192 桶用 vz/FAR_Z 线性分桶,远近平滑,但透视投影下近处的高斯在屏幕上占的面积大、遮挡关系也更敏感,排序误差在近处最容易被看出来。如果换成按 1/vz 分桶,近处桶会更细,也许能在同样桶数下把可见误差再压一点。另外你说最大尺度 0.505、桶宽 0.073 约等于最大高斯直径的 1/7,我按半径 0.505 去算直径约 1.01,桶宽大概是 1/14,可能是我把尺度当成半径了,想确认下这个尺度的定义。 渐变拟合高斯核那段经验很值钱,spread 取 2.7 倍、色标 alpha 压到 0.58 和 0.18,这种“物理上不对但视觉上对”的取舍就是软渲染的核心。一个担心是每帧对每个光斑都调
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-11-16 07:51 , Processed in 0.023112 second(s), 17 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部