TRELLIS.2 把图像条件、稀疏结构生成、原生 3D 潜变量、几何生成和材质生成组合起来,将一张图片转换成 3D 资产。微软公开的模型规模为 4B 参数,支持 512³、1024³ 和 1536³ 输出分辨率。
本文只采用官方项目与论文中的信息,不虚构面数、背面准确率、消费级显卡速度或未公开的小模型。
1. 图片只是条件,不是完整扫描
单张图片能提供可见颜色、轮廓、光照和材质线索,但看不到背面和遮挡区域。模型需要推断这些部分,因此主体清晰、背景简单、遮挡较少的图片更适合作为输入。
2. O-Voxel 同时表达几何与外观
O-Voxel 是一种无场的稀疏体素结构。微软说明它可以表达:
- 开放表面
- 非流形几何
- 封闭的内部结构
- 基础色
- 粗糙度
- 金属度
- 不透明度
它扩大了模型可以表达的拓扑和材质范围,但不保证每次生成都无需清理。
3. 稀疏 3D VAE 压缩为结构化潜变量
TRELLIS.2 使用具有 16× 空间下采样的稀疏 3D VAE,在保留原生三维结构的同时,把表示压缩到适合大模型处理的规模。16× 是官方公开数字,不应继续延伸成未经来源支持的固定 token 数或每个资产的压缩比。
4. Flow-matching 模型分阶段生成
论文和训练配置描述了稀疏结构、形状潜变量和纹理潜变量的生成阶段。可以概括为:
- 推断资产的稀疏三维结构
- 在结构中生成形状信息
- 基于图片和形状生成 PBR 外观属性
5. 后处理并导出 GLB
官方代码展示了网格简化、可选重建网格、目标减面数、纹理尺寸、UV/材质处理和 GLB 导出。trellis2.com 的网页生成器暴露其中一部分控制,并提供浏览器预览和下载。
官方性能数据
微软在 NVIDIA H100 上给出的数据为:
| 分辨率 | 总时间 | 形状 + 材质 |
|---|---|---|
| 512³ | 约 3 秒 | 2s + 1s |
| 1024³ | 约 17 秒 | 10s + 7s |
| 1536³ | 约 60 秒 | 35s + 25s |
这些数字不包括托管服务的排队、上传、下载和浏览器处理,也不能直接套用到其他 GPU。
结果需要怎样验收
- 旋转到背面检查推断区域
- 用线框查看网格密度和异常边
- 检查 UV 与 PBR 贴图
- 导入目标软件后确认比例和坐标轴
- 单独启用并验证透明度
- 记录人工清理时间