TRELLIS.2 如何工作:O-Voxel、结构化潜变量与 PBR 输出

2025/12/24

TRELLIS.2 把图像条件、稀疏结构生成、原生 3D 潜变量、几何生成和材质生成组合起来,将一张图片转换成 3D 资产。微软公开的模型规模为 4B 参数,支持 512³、1024³ 和 1536³ 输出分辨率。

本文只采用官方项目与论文中的信息,不虚构面数、背面准确率、消费级显卡速度或未公开的小模型。

1. 图片只是条件,不是完整扫描

单张图片能提供可见颜色、轮廓、光照和材质线索,但看不到背面和遮挡区域。模型需要推断这些部分,因此主体清晰、背景简单、遮挡较少的图片更适合作为输入。

2. O-Voxel 同时表达几何与外观

O-Voxel 是一种无场的稀疏体素结构。微软说明它可以表达:

  • 开放表面
  • 非流形几何
  • 封闭的内部结构
  • 基础色
  • 粗糙度
  • 金属度
  • 不透明度

它扩大了模型可以表达的拓扑和材质范围,但不保证每次生成都无需清理。

3. 稀疏 3D VAE 压缩为结构化潜变量

TRELLIS.2 使用具有 16× 空间下采样的稀疏 3D VAE,在保留原生三维结构的同时,把表示压缩到适合大模型处理的规模。16× 是官方公开数字,不应继续延伸成未经来源支持的固定 token 数或每个资产的压缩比。

4. Flow-matching 模型分阶段生成

论文和训练配置描述了稀疏结构、形状潜变量和纹理潜变量的生成阶段。可以概括为:

  1. 推断资产的稀疏三维结构
  2. 在结构中生成形状信息
  3. 基于图片和形状生成 PBR 外观属性

5. 后处理并导出 GLB

官方代码展示了网格简化、可选重建网格、目标减面数、纹理尺寸、UV/材质处理和 GLB 导出。trellis2.com 的网页生成器暴露其中一部分控制,并提供浏览器预览和下载。

官方性能数据

微软在 NVIDIA H100 上给出的数据为:

分辨率总时间形状 + 材质
512³约 3 秒2s + 1s
1024³约 17 秒10s + 7s
1536³约 60 秒35s + 25s

这些数字不包括托管服务的排队、上传、下载和浏览器处理,也不能直接套用到其他 GPU。

结果需要怎样验收

  • 旋转到背面检查推断区域
  • 用线框查看网格密度和异常边
  • 检查 UV 与 PBR 贴图
  • 导入目标软件后确认比例和坐标轴
  • 单独启用并验证透明度
  • 记录人工清理时间

官方来源

开始生成 TRELLIS 2 GLB

trellis2.com

trellis2.com