鸿蒙专家 发表于 3 小时前

鸿蒙3DGS端侧重建与方舟图形引擎性能调优实践指南

从云端小时级到端侧分钟级:3DGS重建落地HarmonyOS
Remy是鸿蒙生态中的一款3D空间记录工具。传统3D重建多依赖摄影测量,拍照量大、计算复杂、门槛高。2023年3D高斯泼溅技术出现后,Remy团队发现它跳过了繁重的网格计算,只用稀疏点云加神经网络,就能渲染出逼真的三维场景,于是很快将其落地到专业App中。后来团队观察到,不少用户把这项技术用于记录承载回忆的空间与物件,于是决定把专业功能简化,做成普通人也能上手的3D App,Remy由此诞生。

关键变化在于重建位置。以往用户采集完数据后,需要上传云端进行数小时计算,等待漫长,还存在隐私顾虑。Remy借助Spatial Recon Kit的3DGS端侧重建,把整个3DGS重建流程直接运行在手机本地。用户环绕扫描完成后,手机在几分钟内直接生成高精度3D模型,无需联网上传,从“小时级”提速到“分钟级”,且数据不出设备。

采集引导:AR Engine如何提升输入质量
3D重建对输入视角覆盖很敏感,视角缺失容易造成重建失败。HarmonyOS的AR Engine在拍摄阶段提供精准引导基础,它能根据相机图像与位姿信息,实时判断用户尚未覆盖的区域,引导用户及时补拍,从源头减少因视角缺失造成的重建失败,让端侧重建获得更高质量的输入数据。

产品侧也围绕这一点做了简化:Remy设计了一个引导球,实时指示用户该往哪个方向移动手机、扫描哪个区域。新手用户不需要理解任何建模概念,只需按“对准、环绕、等待”三步,就能完成一次空间记录。对于已经熟悉Remy、想精细记录的用户,还提供“自由扫描模式”,可以按自己的想法环绕重要物体,进行更精细化的重建。

渲染与性能:方舟图形引擎解决发热、掉帧和闪退
传统3D高斯渲染非常消耗性能,在手机上很容易发热、掉帧,甚至闪退。HarmonyOS 3D方舟图形引擎提供系统级图形渲染能力,可加速模型加载与场景构建,让端侧生成的高斯模型在手机上流畅预览和交互。

开发过程中,方舟图形引擎团队与Remy团队紧密协作,针对Remy的3D场景深入分析并定位性能瓶颈,逐项优化解决。最终实现了手机上流畅渲染高精度3D高斯模型,功耗也大幅下降。原本“采集—校准—配准—重建—渲染”这一层层串行、任何一步出错都可能返工的复杂链路,变成了一条数据更准、速度更快、可即时修正的稳定流水线。

ArkUI与界面构建:声明式语法还原精细设计
Remy的设计稿比较精细,动画和转场很多。HarmonyOS开发者平台的ArkUI声明式语法帮助团队简化了界面构建逻辑,能非常精准地还原设计,开发效率提升不少。对于3D记录这类交互频繁、状态较多的应用,声明式UI与系统图形能力配合,有助于把复杂状态变化映射到界面,减少手工拼装视图的成本。

图库联动与多端流转:3D模型如何像视频一样分享
Remy与华为工程师合作实现了图库联动。普通用户很少接触3D模型数据,因此Remy把模型数据和MP4视频格式做了结合:用户可以将Remy创建的3D模型直接保存在系统图库中;本地浏览时能看到模型的3D效果,还能将3D模型设为锁屏壁纸;如果通过社交软件发给其他系统的用户,则会自动变成一段展示模型的MP4视频。

在多端流转上,Remy接入了“碰一碰分享”。打开Remy里的某个模型页,碰一碰另一台支持的HarmonyOS设备,就能将模型地址快速传输给其他人,快捷分享与保存。

分享与传播:内置特效模板降低使用门槛
很多用户扫描完想发朋友圈,但直接发3D模型文件不现实。Remy内置了六套AE渲染特效模板,一键就能生成炫酷的展示视频,方便在社交平台传播。这属于产品闭环设计:采集、重建、渲染之后,还要让内容可保存、可分享、可重复使用。

适配限制与开发建议
需要注意的是,端侧重建功能仅限华为Nova、Pura、Mate系列手机(搭载麒麟9010s以上芯片)、HarmonyOS 7(API 26)以上系统使用。开发者在规划类似3DGS端侧能力时,需要先确认目标机型是否满足芯片和系统版本要求。

Remy团队建议,现在入局3D赛道,最需要避免的是把项目做成一个“模型Demo”。真正拉开差距的,是采集、重建、渲染、交互和场景闭环这一整条链路。3D的下一阶段,竞争的不再是谁先生成出一个3D内容,而是谁能把3D内容变成一个普通人愿意反复使用的产品能力。因此新入局团队应多花时间在用户场景和体验闭环上,而不是只盯着模型效果本身。

在鸿蒙生态协同下,Remy让3D重建变得像拍照一样简单,并通过图库联动、碰一碰分享等设计,让三维空间的记录与分享像拍摄一段视频那样自然。三维空间记录不再属于专业工作室,而是走进了每个人的日常。期待更多开发者加入鸿蒙生态,共同探索3D记录的更多可能。
页: [1]
查看完整版本: 鸿蒙3DGS端侧重建与方舟图形引擎性能调优实践指南