在鸿蒙端侧落地3D Gaussian Splatting(3DGS)时,常见方案依赖Vulkan/OpenGL ES和自定义shader。但ArkUI原生绘制里,零依赖、跨设备一致的画布是Canvas加CanvasRenderingContext2D。项目Gaussary用纯ArkTS实现了一个3DGS工作台:不靠WebGL、不引三方库、不加载模型文件,完成解析几何体采样、2D Canvas深度排序叠光、训练压缩交付预算台,以及ArkUI状态与Canvas重绘治理。以下从工程分层、渲染管线、排序叠光与性能取舍几方面拆解。
【工程分层与三条纪律】
工程把渲染、数学与UI彻底分开:core/存放纯逻辑层,components/放ArkUI组件,pages/Index.ets作为状态中枢。三条纪律贯穿始终:core/不import任何ArkUI符号,渲染器和数学库只认识Float32Array与number,因此可被放进Worker或Node复用;GaussianRenderer不持有业务状态,所有可变缓冲都是类字段,每帧复用,渲染过程中零对象分配;只有Index.ets有权改业务状态,子组件一律@Prop接收、回调上报,形成严格单向数据流。这三个取舍直接决定了软件渲染器能否在30帧循环里活下来。
【SoA布局与四道裁剪】
高斯集合采用结构体数组的转置(SoA),每个字段一条Float32Array。一个高斯对应11条数组里的同一个下标:位置px/py/pz,三主轴尺度sx/sy/sz,四元数qx/qy/qz/qw,不透明度opacity,基色cr/cg/cb,rim色tr/tg/tb,以及mat材质分类。这样渲染主循环按i顺序读三条连续Float32Array,缓存友好;对象数组则是指针追逐。渲染器再维护两套候选缓冲,容量只在ensure()里检查一次,热路径几乎不扩容。- export class SplatCloud {
- count: number = 0;
- px: Float32Array; py: Float32Array; pz: Float32Array;
- sx: Float32Array; sy: Float32Array; sz: Float32Array;
- qx: Float32Array; qy: Float32Array; qz: Float32Array; qw: Float32Array;
- opacity: Float32Array;
- cr: Float32Array; cg: Float32Array; cb: Float32Array;
- tr: Float32Array; tg: Float32Array; tb: Float32Array;
- mat: Uint8Array;
- }
复制代码 主循环每个高斯连过四道闸门,顺序按开销从低到高:①预算闸门,不透明度和尺度阈值直接跳过;②视锥闸门,相机空间z必须为正且不在近平面后;③屏幕闸门,投影后扩90px外框,画布外丢弃;④亚像素闸门,半径不足0.55px的光斑对像素值贡献可忽略,直接丢。最贵的四元数展开和Math.max放在最后,让最多数据先被排除。- if (alphaBase < opt.pruneOpacity || cloud.sz[i] < opt.pruneScale) { continue; }
- const vz = dx * b.fx + dy * b.fy + dz * b.fz;
- if (vz < 0.12) { continue; }
- if (sx < -90 || sx > width + 90 || sy < -90 || sy > height + 90) { continue; }
- let rad = (world * focal) / vz;
- if (rad < 0.55) { continue; }
复制代码 陶瓮场景由旋转体轮廓、两颗石膏球、两个金环、四块石子和一层微尘采样成23 560个高斯。旋转体采样只需一条2D轮廓曲线,法线由切线逆时针旋转90度直接算出,省掉手工建面。
【深度排序:192个桶替代比较排序】
3DGS合成必须后向前alpha混合,否则半透明前后关系错乱。每帧给6000个高斯用Array.sort建对象数组再比较,分配和回调开销会吃掉预算。渲染器用192个桶做计数排序:投影阶段顺手算桶号,vz越大越远桶号越小,越先画;再一遍前缀和、一遍重排,只搬运6个标量,不搬对象。FAR_Z=14、192桶对应桶宽约0.073世界单位,陶瓮最大尺度0.505,桶宽只有最大高斯直径的1/7,视觉上不可见,却把O(n log n)带比较器降到O(n+k)三趟线性扫描。- const BUCKETS = 192;
- const FAR_Z = 14;
- let bucket = Math.floor((1 - clamp01(vz / FAR_Z)) * (BUCKETS - 1));
- this.bucketA[count] = bucket < 0 ? 0 : (bucket > BUCKETS - 1 ? BUCKETS - 1 : bucket);
- for (let i = 0; i < count; i++) {
- const slot = this.cursor[this.bucketA[i]];
- this.cursor[this.bucketA[i]] = slot + 1;
- this.sxB[slot] = this.sxA[i];
- this.radB[slot] = this.radA[i];
- this.colB[slot * 3] = this.colA[i * 3];
- }
复制代码
【径向渐变叠光与哈希抽稀】
每个光斑不画旋转椭圆,而是画圆,半径取面向相机时的最大主轴与该高斯法向夹角做混合。facing取绝对值,让背面高斯也参与叠光,避免物体转过来时突然变薄;亚像素rad<0.55作为性能阀门。facing还被复用来做边缘光:rimWeight=Math.pow(1-facing,2)*shGain,shGain由球谐阶数决定[0.25,0.6,1.0,1.3],一个变量同时干半径混合和菲涅尔边缘光两件事。
绘制用4个色标的径向渐变拟合高斯核,spread=2.7×rad,外扩再小会出现硬切边,再大则光晕雾化且fillRect面积平方增长。中间色标alpha*0.58和alpha*0.18不是理论值,是因为Canvas的source-over近似alpha累加,几百个光斑叠加会过曝,必须让单光斑贡献比物理值低一档。- const spread = rad * 2.7;
- const gradient = ctx.createRadialGradient(sx, sy, 0, sx, sy, spread);
- gradient.addColorStop(0, rgba(r, g, bl, alpha));
- gradient.addColorStop(0.45, rgba(r, g, bl, alpha * 0.58));
- gradient.addColorStop(0.74, rgba(r, g, bl, alpha * 0.18));
- gradient.addColorStop(1, rgba(r, g, bl, 0));
- ctx.fillStyle = gradient;
- ctx.fillRect(sx - spread, sy - spread, spread * 2, spread * 2);
复制代码 当候选数超过maxSplats,用乘法哈希做伪随机均匀抽稀,而不是按索引取模成片丢弃。Knuth黄金比例常数2654435761乘i再取低位,把连续i打散成伪随机序列,被丢光斑在空间上均匀撒开,视觉表现为整体细腻度轻微下降,不会出条带状空洞。>>>0保证无符号32位,避免负数取模。- if (count >= budget) {
- const hash = ((i * 2654435761) >>> 0) % 1000;
- if (hash > 340) { continue; }
- }
复制代码
【性能解剖与背景一致性】
视口统计显示6,848光斑、185 ms整帧CPU时间,包含排序、叠光、叠加层和背景网格。作者给出的优化方向是启动时预渲染32档白色径向精灵,绘制时按半径选档drawImage并用globalAlpha着色,热路径从6000次渐变创建变成6000次位图blit,理论上可压到20 ms以内。代价是丢失逐光斑独立色相,需要额外着色pass或分色桶;还牵出OffscreenCanvas在模拟器上transferToImageBitmap的兼容性验证,原文将其标为方案而非已完成。
背景不是纯色:竖向三段线性渐变压暗上下,一个大半径径向辉光让视口中心像被灯照到,可选极坐标地面网格。网格把世界坐标里的同心圆和放射线逐点投影再连线,和光斑走同一套变换,所以相机一动网格与物体严格同步;若用简化投影,转视角会出现网格和物体不同步的滑动感。
【训练显影模型与取舍总结】
真跑3DGS训练要GPU分钟级,手机上不可能,因此“显影”层用解析模型让重建过程可见:损失由0.418*exp(-4.4t)给出前20%陡降,0.0125*(1-t)做缓慢尾项,再加幅度0.0016的高斯噪声,下限钳制0.0086对应可交付阈值;PSNR从11.8 dB收敛到36.4 dB。显影度不是直接取progress,而是独立映射,避免动画与损失曲线脱节。
整体看,这个ArkTS Canvas渲染器的关键词是取舍:用圆近似替掉屏幕空间椭圆特征分解,用192桶计数排序替掉比较排序,用黄金比例哈希替掉顺序抽稀,用亚像素剔除和零分配保住帧预算。它不追求GPU路径的物理精确,而是在鸿蒙ArkUI零依赖画布上把3DGS的深度排序、叠光与性能边界跑通,适合端侧软件渲染和调试排障场景参考。 |