鸿蒙Spatial Recon Kit高斯球编辑与2D转3D

鸿蒙专家

HarmonyOS 7.0（API 26）的Spatial Recon Kit把3DGS编辑和2D转3D空间照片能力开放给开发者。随着终端设备向空间计算领域迈进，三维重建焦点从NeRF转向3D Gaussian Splatting（3DGS）。相比NeRF需要庞大的光线追踪算力，3DGS基于离散点云与协方差矩阵的栅格化技术，能在移动端实现120 FPS以上的高清自由视角渲染。但3DGS模型一直存在工程痛点：一旦点云生成，它就是一个整体的数学场，无法像传统Mesh那样轻易剔除或裁剪。HarmonyOS 7.0（API 26）的Spatial Recon Kit改变了这一局面，新增直接编辑3DGS模型中高斯球的能力，开发者可通过API对空间中的高斯簇进行框选、仿射变换、重新着色，甚至像素级剔除；同时支持2D到3D空间照片推断，输入单目2D平面照片，系统底层利用NPU瞬时预测深度图，并合成为带有空间视差感的三维模型。

一、3DGS高斯球编辑的底层原理

要理解如何编辑高斯球，需要先看3DGS的底层渲染管线。3DGS不是由面片组成的，而是由数以百万计的椭球体（Gaussian Splats）在空间中叠加渲染而成。每个高斯球包含以下数学属性：位置（Position, XYZ）决定球在三维空间中的坐标点；协方差（Covariance）决定高斯球的形状，包括缩放和旋转；球谐函数系数（Spherical Harmonics, SH）决定不同视角下观察到的颜色，这是它具有光影反射体积感的核心；不透明度（Opacity）决定这个高斯球有多实。HarmonyOS API 26开放的高斯球编辑，实际上就是赋予开发者在显存态直接操作这些底层张量（Tensors）的能力。从底层实现看，调用“删除”接口时，并非真正从内存中把节点free掉，而是修改其不透明度权重或做Alpha-Culling（透明度剔除），以维持计算管线的吞吐效率。

二、ArkTS实战：框选与删除3DGS高斯球

在Spatial Recon Kit中，如果需要剔除扫描场景中多余的物体，例如桌面扫描时把桌边不需要的茶杯也扫进去，可以通过空间包围盒（Bounding Box）或画笔工具进行选择，然后删除。下面代码展示了加载3DGS模型、构建包围盒、圈选高斯球并执行删除、保存新模型的完整流程：

2. import { spatialRecon } from '@kit.SpatialReconKit';
3. import { hilog } from '@kit.PerformanceAnalysisKit';
4. const TAG = 'SpatialGS_Editor';
5. export async function editGaussianModel(modelPath: string) {
6. try {
7. // 1. 加载 3DGS 模型实例
8. let gsModel = await spatialRecon.loadModel(modelPath);
9. hilog.info(0x0000, TAG, 'Successfully loaded 3DGS model into VRAM.');
10. // 2. 构建一个三维空间包围盒进行高斯球圈选
11. // 假设茶杯在空间坐标系中的位置，我们构建一个中心在 (x:1.0, y:0.0, z:-2.0)，边长为 0.5 的包围盒
12. let selectionBox: spatialRecon.BoundingBox = {
13. center: { x: 1.0, y: 0.0, z: -2.0 },
14. extents: { x: 0.5, y: 0.5, z: 0.5 } // 长宽高各 0.5 米
15. };
16. // 3. 执行空间过滤，获取选中区域的高斯球句柄列表
17. let selectedSplats = await gsModel.select(selectionBox);
18. hilog.info(0x0000, TAG, `Selected ${selectedSplats.count} Gaussian splats within the bounding box.`);
19. // 4. 执行剔除 (删除) 操作
20. // 底层会将被选中点的不透明度参数置空，并触发 GPU 重新光栅化
21. await gsModel.deleteSplats(selectedSplats);
22. hilog.info(0x0000, TAG, 'Target object has been successfully erased from the scene.');
23. // 5. 保存编辑后的新模型
24. let newPath = modelPath + "_edited.splat";
25. await gsModel.saveModel(newPath);
26. } catch (error) {
27. hilog.error(0x0000, TAG, `Failed to process model: ${JSON.stringify(error)}`);
28. }
29. }

复制代码

这段流程的关键点在于：loadModel将3DGS模型加载到显存；BoundingBox用于限定选择范围；select返回选中区域的高斯球句柄列表；deleteSplats会将被选中点的不透明度参数置空，并触发GPU重新光栅化；saveModel将编辑后的模型保存为新文件。对于扫描场景中需要删除的干扰物，这种基于空间包围盒的选择方式比较直接，也便于在编辑工具中结合画笔工具使用。

三、2D图片的三维空间重构

API 26的另一个重要能力是单目空间照片生成。一张普通的手机2D照片，调用API即可转化为具有一定旋转幅度空间感的3D模型。其底层逻辑依赖端侧NPU的深度估计大模型（Depth Estimation Model）。系统推断出每个像素的Z轴景深，然后将其反投影到三维点云中，再赋予原始像素的颜色值，生成3DGS或Mesh格式空间结构。下面代码展示了如何将2D PixelMap转换为空间照片模型：

2. import { spatialRecon } from '@kit.SpatialReconKit';
3. import { image } from '@kit.ImageKit';
4. import { hilog } from '@kit.PerformanceAnalysisKit';
5. const TAG = 'SpatialImage_Recon';
6. export async function createSpatialImage(imagePixelMap: image.PixelMap): Promise<spatialRecon.SpatialImageModel> {
7. try {
8. hilog.info(0x0000, TAG, 'Start spatial image reconstruction...');
9. // 1. 初始化空间照片配置项
10. let config: spatialRecon.SpatialImageConfig = {
11. quality: spatialRecon.QualityLevel.HIGH, // 选择高质量重建，利用 NPU 的高精度推断
12. maxParallaxAngle: 15.0 // 最大允许合成 15 度视差的空间视角，防止边缘像素拉扯撕裂
13. };
14. // 2. 将 2D PixelMap 喂给底层重构服务
15. let spatialModel = await spatialRecon.generateSpatialImage(imagePixelMap, config);
16. hilog.info(0x0000, TAG, 'Spatial image successfully generated! Model can now be rendered in XR space.');
17. return spatialModel;
18. } catch (error) {
19. hilog.error(0x0000, TAG, `Spatial reconstruction failed, possibly due to OOM or NPU timeout: ${error}`);
20. throw error;
21. }
22. }

复制代码

配置项中，quality选择HIGH表示利用NPU的高精度推断；maxParallaxAngle设置为15.0，表示最大允许合成15度视差的空间视角，目的是防止边缘像素拉扯撕裂。调用generateSpatialImage后返回SpatialImageModel，该模型可以在XR空间中渲染。对于相册、图库类应用，这条链路可以把存量2D照片快速转化为具有空间视差感的内容。

四、稳定性边界：OOM与算力防线

处理3DGS与空间照片时，最大的稳定性瓶颈在于显存/内存溢出（OOM）。一张4K照片转空间点云时，会瞬间生成数以千万计的高斯球节点，占用海量连续内存。开发者必须对传入的PixelMap尺寸进行严格的下采样（Downsampling）限制。如果同时在进行高强度的编辑操作，建议开启任务队列进行串行调度，切忌在主线程并发创建多个gsModel句柄，否则底层GraphicEngine会因FD耗尽而直接触发系统级冻屏（Freeze）。换句话说，3DGS编辑和2D转3D虽然降低了空间内容的生产门槛，但对内存、显存和任务调度提出了更明确的要求，工程上需要把下采样、串行化和错误处理作为必选项。

五、总结

HarmonyOS 7.0引入的Spatial Recon Kit将空间计算从昂贵的专业激光雷达设备下放到了所有通用智能终端。高斯球编辑机制解构了原先3DGS的黑盒特性，使得端侧轻量化三维修图成为可能；2D转3D空间照片能力则为XR头显、裸眼3D平板等硬件矩阵提供了极其廉价且丰沛的内容生态补给。可以预见，未来的相册与图库应用，将不可逆转地向三维全息化全面进军。

热心网友3

这帖信息量很足，把3DGS从NeRF转向移动端空间计算的背景和API 26开放的能力串起来了。高斯球一旦生成就是整体数学场、没法像Mesh那样裁剪，这个工程痛点说得很到位。用包围盒圈选、select拿到句柄、deleteSplats通过不透明度置空加Alpha-Culling来剔除，同时触发GPU重新光栅化，这个思路既解释了删除为什么不是直接free，也照顾了管线吞吐，删除茶杯的例子很直观。保存成_edited.splat也方便继续用。 2D转3D空间照片那块也很有意思，单目照片经NPU预测深度图再反投影，如果能稳定处理边缘遮挡和透明物体，对普通用户会很有吸引力。代码到初始化空间照片配置项就截断了，后面如果方便可以补上完整配置项、异常处理和实际性能数据，比如不同分辨率下的耗时和显存占用。整体看这篇对想上手Spatial Recon Kit的人帮助很大。

热心网友6

感谢分享，内容挺硬的，尤其是把 3DGS 说成不是面片而是百万级高斯椭球叠加，再落到位置、协方差、球谐、不透明度这几个属性，理解起来清楚多了。框选删除那段也很直观，原来 deleteSplats 不是直接 free 节点，而是把不透明度置空做 Alpha-Culling，这样能保持计算管线吞吐，这个细节很关键。2D 转 3D 用 NPU 预测深度图再反投影成空间照片，感觉对普通照片做空间化很实用。想请教两个点：一是保存编辑后的新模型时，是只保存被修改的高斯球属性，还是会重新生成完整 splat 文件？二是第二段代码好像到 let con 就断了，方便的话能补全吗？再次感谢。

热心网友6

看完感觉 Spatial Recon Kit 这两块能力挺关键。3DGS 编辑用包围盒圈选，再通过修改不透明度和 Alpha-Culling 来剔除，既避开了 Mesh 化重构，又能保持渲染吞吐，这个工程取舍很实际。你给的 loadModel 到 saveModel 流程也比较顺，适合先做场景清理类工具。不过实际用起来，我比较关心多次剔除后保存的新模型是否还能恢复，还是只能在原始模型上重新编辑；另外框选大量高斯球时性能怎么样，会不会有卡顿。 2D 转 3D 空间照片那段也很吸引人，端侧 NPU 估深度再反投影，对普通单目照片生成视差空间感，听起来很适合相册和社交场景。但边缘、透明物体和前后景分离可能容易出瑕疵，不知道生成后的旋转幅度和可视角范围有多大。最后代码到初始化配置那里好像没贴完，期待你把后续补上。