无需3D数据也能训练，港科&港中文联手华为推出3D自动驾驶场景生成模型
状态
完成
Assiqen
类型
AI
Text
香港中文大学、香港科技大学和华为诺亚方舟实验室合作推出了一种名为MagicDrive3D的可控3D场景生成方法，可以在无需采集3D数据的情况下训练出高质量的3D自动驾驶场景生成模型。该方法通过结合可控生成与场景重建解决了传统方法中可控性和几何一致性无法同时满足的问题。MagicDrive3D支持多条件控制，可以生成连贯的高质量模型，甚至在原始图像不一致的情况下也能建立出真实可靠的模型。该方法还支持天气情况的文本控制，可以实现从晴天到雨天的切换，同时还可以精确控制道路结构和物体位置。MagicDrive3D的生成效果在nuScenes数据集上表现出明显优势，生成的图片还可以用于数据增强，提升相机参数的鲁棒性。该方法的框架将视角合成方法与场景重建方法相结合，充分利用可控性和几何一致性，实现了接受多种控制条件的3D街景场景合成。MagicDrive3D带来了一个全新的、高效的可控3D场景生成框架，为无界限的3D场景生成提供了解决方案，同时为多种下游任务提供了支持。
Created time
Jun 19, 2024 03:25 PM
Date
AI summary