🚀 Nano Banana 2.0 来了!立即体验

SAM 3D:将单张图像转化为高保真 3D 现实

Meta 推出了 Segment Anything 模型家族的最新进化版。SAM 3D 为计算机视觉带来了人类水平的 3D 感知能力,能够从单张“野外”图像中稳健地重建物体和人体。

由全新的 SAM 3D Objects 和 SAM 3D Body 模型驱动,我们以前所未有的精度和速度,架起了 2D 图像与 3D 空间理解之间的桥梁。

🔥 在物理世界图像上展现最先进的性能

SAM 3D 架构概览

两大突破性模型,实现全方位 3D 理解

SAM 3D 推出了两种专门设计的架构,以应对物理世界的复杂性。这些模型不再局限于合成数据集,而是利用庞大的新数据引擎来理解遮挡、多变的光照和复杂的几何结构。

SAM 3D Objects:场景感知重建

从单张图像重建详细的 3D 形状、纹理和布局。与仅限于孤立物体的前代方法不同,SAM 3D Objects 在杂乱的真实环境中表现出色。它允许用户选择照片中的任何物体并立即生成具有姿态感知的 3D 网格,从而实现电子商务中的“实景查看”和交互式 3D 场景编辑等应用。

SAM 3D Body:精确的人体数字化

即使在涉及异常姿势或部分遮挡的挑战性条件下,也能生成准确的 3D 人体姿态和形状估计。基于全新的 Meta Momentum Human Rig (MHR) 构建,它将骨骼结构与软组织形状分离,为 VR、游戏和体育分析提供可解释且可动画化的 3D 人体模型。

数据引擎优势

我们革命性的“人机回环”数据引擎标注了近 100 万张物理世界图像,生成了超过 300 万个经过验证的网格。这种方法弥合了“模拟到现实”的差距,使 SAM 3D 能够在纯合成训练模型失效的各种现实场景中进行泛化。

为什么 SAM 3D 重新定义了标准

我们超越了传统摄影测量和纯合成训练的局限性。SAM 3D 为 3D 重建带来了语义理解能力。

传统的 3D 模型在现实世界的混乱中举步维艰,而 SAM 3D 却能脱颖而出。无论是低光照、严重遮挡还是非标准相机角度,我们的模型都能保持高保真度。在正面交锋的人类偏好测试中,SAM 3D Objects 相较于当前的 SOTA 替代方案取得了 5:1 的胜率。

鲁棒性
工作流程

4 步实现从 2D 图像到 3D 资产

通过我们要直观的 Playground 体验 SAM 3D 的强大功能,或将其直接集成到您的 Python 工作流程中。

1

上传您的图像

从任何标准的 RGB 图像开始。它可以是您手机里的照片、视频中的一帧,或者是生成的图像。

2

提示模型

点击您想要重建的物体或人物。SAM 3D 会立即生成分割掩码以确认您的选择。

3

生成 3D 网格

模型推断 3D 几何形状、纹理和姿态,利用我们高效的推理管道在几秒钟内生成高质量的网格。

4

导出与集成

以标准格式(如 .OBJ、.GLB)或用于人体的新 MHR 格式下载您的资产,随时可在 Blender、Unity 或 Unreal Engine 中使用。

技术规格与能力

深入了解使 SAM 3D 成为 3D 重建新基准的技术实力。

开放词汇支持

得益于对多样化概念的大规模预训练,可以重建任何物体类别而没有限制。

Meta Momentum Human Rig (MHR)

一种全新的开源网格格式,将骨骼结构与软组织分离,以实现卓越的动画效果。

遮挡处理

先进的推理逻辑为被遮挡的物体“幻构”出合理的背向几何结构。

SA-3DAO 数据集

基于全新的 SAM 3D Artist Objects 数据集训练,该数据集包含 100 万+ 视觉接地的真实世界图像。

多视角一致性

确保重建物体在不同视角下的纹理和几何一致性。

Apache 2.0 许可

完全开源的代码和模型权重,支持商业用途和社区创新。

常见问题解答

关于 SAM 3D 能力、许可和使用的常见问题。







立即开始 3D 构建

加入开发者社区,共同拓展 3D 计算机视觉的边界。