英文原标题:The Definitive Fine-Tuning Guide for 3D Generation Models

本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗

  • 文章提供了微调TRELLIS.2的脚本和容器,可在本地或Hugging Face Jobs上运行,用户只需少量参数即可用自己的3D资产微调模型。
  • TRELLIS.2的生成流程包括五个阶段:背景去除、图像编码、稀疏结构生成、几何生成和材质生成,最终输出带纹理的网格。
  • 微调时仅对稀疏结构流DiT和形状流DiT添加LoRA适配器,冻结纹理流DiT,因为数据集缺少材质贴图且形状是主要问题。
  • 实验使用GSO数据集的188个鞋子子集,预训练模型生成的鞋底不准确,通过LoRA微调旨在提升鞋底几何精度。
  • LoRA配置共训练约930万适配器参数,稀疏结构流DiT使用rank 8,形状流DiT使用rank 16,适用于小数据集并避免灾难性遗忘。

关键数据

  • GSO数据集包含1030个物体,实验使用其中188个鞋子。
  • 稀疏结构流DiT生成16³×8的潜在表示,解码为64×64×64的占用网格。
  • 形状流DiT生成512×512×512分辨率的O-Voxel几何。
  • LoRA适配器总参数量约930万,稀疏结构流DiT的rank为8,形状流DiT的rank为16。

为什么值得看:本文提供了针对3D生成模型TRELLIS.2的实用微调指南,包括脚本、容器和具体配置,能帮助开发者用少量数据适配特定任务。

站内导航