查看: 4810|回复: 3

鸿蒙3DGS端侧重建与方舟图形引擎性能调优实践指南

[复制链接]
发表于 4 天前 | 显示全部楼层 |阅读模式
从云端小时级到端侧分钟级:3DGS重建落地HarmonyOS
Remy是鸿蒙生态中的一款3D空间记录工具。传统3D重建多依赖摄影测量,拍照量大、计算复杂、门槛高。2023年3D高斯泼溅技术出现后,Remy团队发现它跳过了繁重的网格计算,只用稀疏点云加神经网络,就能渲染出逼真的三维场景,于是很快将其落地到专业App中。后来团队观察到,不少用户把这项技术用于记录承载回忆的空间与物件,于是决定把专业功能简化,做成普通人也能上手的3D App,Remy由此诞生。

关键变化在于重建位置。以往用户采集完数据后,需要上传云端进行数小时计算,等待漫长,还存在隐私顾虑。Remy借助Spatial Recon Kit的3DGS端侧重建,把整个3DGS重建流程直接运行在手机本地。用户环绕扫描完成后,手机在几分钟内直接生成高精度3D模型,无需联网上传,从“小时级”提速到“分钟级”,且数据不出设备。

采集引导:AR Engine如何提升输入质量
3D重建对输入视角覆盖很敏感,视角缺失容易造成重建失败。HarmonyOS的AR Engine在拍摄阶段提供精准引导基础,它能根据相机图像与位姿信息,实时判断用户尚未覆盖的区域,引导用户及时补拍,从源头减少因视角缺失造成的重建失败,让端侧重建获得更高质量的输入数据。

产品侧也围绕这一点做了简化:Remy设计了一个引导球,实时指示用户该往哪个方向移动手机、扫描哪个区域。新手用户不需要理解任何建模概念,只需按“对准、环绕、等待”三步,就能完成一次空间记录。对于已经熟悉Remy、想精细记录的用户,还提供“自由扫描模式”,可以按自己的想法环绕重要物体,进行更精细化的重建。

渲染与性能:方舟图形引擎解决发热、掉帧和闪退
传统3D高斯渲染非常消耗性能,在手机上很容易发热、掉帧,甚至闪退。HarmonyOS 3D方舟图形引擎提供系统级图形渲染能力,可加速模型加载与场景构建,让端侧生成的高斯模型在手机上流畅预览和交互。

开发过程中,方舟图形引擎团队与Remy团队紧密协作,针对Remy的3D场景深入分析并定位性能瓶颈,逐项优化解决。最终实现了手机上流畅渲染高精度3D高斯模型,功耗也大幅下降。原本“采集—校准—配准—重建—渲染”这一层层串行、任何一步出错都可能返工的复杂链路,变成了一条数据更准、速度更快、可即时修正的稳定流水线。

ArkUI与界面构建:声明式语法还原精细设计
Remy的设计稿比较精细,动画和转场很多。HarmonyOS开发者平台的ArkUI声明式语法帮助团队简化了界面构建逻辑,能非常精准地还原设计,开发效率提升不少。对于3D记录这类交互频繁、状态较多的应用,声明式UI与系统图形能力配合,有助于把复杂状态变化映射到界面,减少手工拼装视图的成本。

图库联动与多端流转:3D模型如何像视频一样分享
Remy与华为工程师合作实现了图库联动。普通用户很少接触3D模型数据,因此Remy把模型数据和MP4视频格式做了结合:用户可以将Remy创建的3D模型直接保存在系统图库中;本地浏览时能看到模型的3D效果,还能将3D模型设为锁屏壁纸;如果通过社交软件发给其他系统的用户,则会自动变成一段展示模型的MP4视频。

在多端流转上,Remy接入了“碰一碰分享”。打开Remy里的某个模型页,碰一碰另一台支持的HarmonyOS设备,就能将模型地址快速传输给其他人,快捷分享与保存。

分享与传播:内置特效模板降低使用门槛
很多用户扫描完想发朋友圈,但直接发3D模型文件不现实。Remy内置了六套AE渲染特效模板,一键就能生成炫酷的展示视频,方便在社交平台传播。这属于产品闭环设计:采集、重建、渲染之后,还要让内容可保存、可分享、可重复使用。

适配限制与开发建议
需要注意的是,端侧重建功能仅限华为Nova、Pura、Mate系列手机(搭载麒麟9010s以上芯片)、HarmonyOS 7(API 26)以上系统使用。开发者在规划类似3DGS端侧能力时,需要先确认目标机型是否满足芯片和系统版本要求。

Remy团队建议,现在入局3D赛道,最需要避免的是把项目做成一个“模型Demo”。真正拉开差距的,是采集、重建、渲染、交互和场景闭环这一整条链路。3D的下一阶段,竞争的不再是谁先生成出一个3D内容,而是谁能把3D内容变成一个普通人愿意反复使用的产品能力。因此新入局团队应多花时间在用户场景和体验闭环上,而不是只盯着模型效果本身。

在鸿蒙生态协同下,Remy让3D重建变得像拍照一样简单,并通过图库联动、碰一碰分享等设计,让三维空间的记录与分享像拍摄一段视频那样自然。三维空间记录不再属于专业工作室,而是走进了每个人的日常。期待更多开发者加入鸿蒙生态,共同探索3D记录的更多可能。
回复

使用道具 举报

发表于 4 天前 | 显示全部楼层

Re: 鸿蒙3DGS端侧重建与方舟图形引擎性能调优实践指南

看完这篇,感觉Remy最值得借鉴的不是单纯把3DGS跑起来,而是把采集、重建、渲染、分享做成了完整闭环。端侧重建从云端小时级压到分钟级,还做到数据不出设备,这对普通用户来说体验和隐私价值都很直接。采集阶段用AR Engine做覆盖引导,产品上再用引导球和自由扫描模式降低门槛,等于让不懂建模的人也能按“对准、环绕、等待”完成记录。 渲染部分提到方舟图形引擎和团队一起定位瓶颈,解决发热、掉帧、闪退,这其实是3D类应用能不能日常用的分水岭。图库联动把模型和MP4结合也很巧妙:本机看3D、发出去自动变视频、还能设锁屏壁纸,再加碰一碰分享和内置特效模板,分享路径确实像发一段视频那么自然。 适配限制也写得很清楚,麒麟9010s以上和HarmonyOS 7 API 26以上是硬门槛,做类似能力前确实要先确认机型。最后那句避免做成“模型Demo”很认同,3D内容真正拉开差距的还是用户场景和体验闭环。想请教一下,复杂场景下的重建成功率和模型体积控制有没有更多经验?
回复 支持 反对

使用道具 举报

发表于 4 天前 | 显示全部楼层

Re: 鸿蒙3DGS端侧重建与方舟图形引擎性能调优实践指南

看完挺有收获。Remy这个方向最打动我的不是3DGS本身,而是把采集引导、端侧重建、图库保存、视频分享和多端流转串成了完整闭环。端侧重建从小时级到分钟级、数据不出设备,对记录家庭和回忆类场景确实很关键,用户不用等云端,也少了隐私顾虑。AR Engine补拍引导和引导球也很实用,第一次玩3D重建的人最怕就是扫不全导致失败。方舟图形引擎能把高斯模型在手机上跑流畅、把功耗压下来,基本决定了这类功能能不能真正产品化。把3D模型和MP4结合、保存到图库、分享自动变视频,这个思路特别接地气,否则3D文件对普通用户确实没感知。适配限制那段也很提醒人,麒麟9010s以上芯片和API 26以上系统是硬门槛,开发前得先确认机型。想问下自由扫描模式相比引导模式,重建耗时和成功率大概会差多少?另外碰一碰分享时,如果对方设备没装Remy,是不是主要就落到MP4视频这种形式?整体很赞,尤其最后说的别把项目做成模型Demo,闭环和用户场景才是关键。
回复 支持 反对

使用道具 举报

发表于 4 天前 | 显示全部楼层

Re: 鸿蒙3DGS端侧重建与方舟图形引擎性能调优实践指南

感谢分享,信息量很大。Remy 把 3DGS 端侧重建跑通,并且从采集引导、方舟图形引擎优化,到图库联动、碰一碰分享和特效模板,整条链路都覆盖到了,确实不只是做一个模型 Demo。尤其数据不出设备和从小时级到分钟级这两点,对普通人记录私人空间和物件很有吸引力。AR Engine 的视角覆盖引导加上引导球、自由扫描模式,也抓住了 3D 重建容易失败的关键,先保证输入质量再谈模型效果,这个思路很实用。 适配限制也写得很清楚,麒麟 9010s 以上芯片和 HarmonyOS 7 API 26 以上系统这个门槛,准备入局的团队确实要先核对,不然后面容易白忙。想请教一下,端侧重建在视角覆盖比较完整的情况下,分钟级生成的时间波动大吗?另外新手用自由扫描模式时,有没有建议优先补拍哪些区域,才能减少重建失败?感谢分享。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-10-18 22:23 , Processed in 0.026347 second(s), 17 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部