LLM2R标志着从 large language models 到三维重组器的转变.

超级描述:LLM2R将3D部件组装作为仅使用解码器LLM的序列建模,在PartNet,PartNeXt和Breaking Bad上提高了准确性和推断速度.

标签:LLM2R,3D部件组装,PartNet,破灭坏的部分

精选图片:抽象的3D组装地形 tokens ,形成一个完整的物体,在技术风格没有人,标志或文字.

LLM2R将3D部件组装重构为一个序列建模任务,用于预训练的解码器-只有 large language model 或LLM,并在单个向前传递中生成每个部分的刚性SE(3) 姿势.这种转移很重要,因为组装是全球性的:零件正确的放置很少仅由其自身几何学来解释,并且基于对比匹配或代验证的方法会因物体包含更多部分而难以实现.

背景:这项任务不是地方性的

3D部分组装从未组装的部件开始,并要求重建完整形状的姿势. 这种姿势是一种刚性SE(3) 转换,意思是3D旋转与3D翻译相结合. 困难来自于各个部件之间的依赖关系. 一个元件可能具有许多局部可信位置,但只有一个布置可以兼容整个集合.

早期的方法通常是从对式关系或重复生成和验证循环中构建组件.这些设计可以捕捉局部约束,但当零件数量增长时它们规模不佳.更多的部分意味着比较更多的关系和更多的验证步骤,因此准确性和速度变得更难保持在一起.

发展:从几何 tokens 到一向传递组装

LLM2R将部分转换为一个语言模型可以读取的序列.点- BERT 编码器和Q-Former压缩每个部分成一块几何 tokens .所有部分的区块然后连接在一起,因此该模型会收到包含整个部分集的一条顺序.

一个因果LLM与Low-Rank Adaptation相适应的过程,该序列在一次向前传递中进行.Low- Rank Adaptation保留了预训练模型的序列容量,同时为组装任务添加了一个紧.可训练更新.

因果结构制造了一个局限性:一个部分的隐藏状态只能看到之前的部分.为了弥合这个差距,LLM2R在最后一部分之后添加可学习总结 tokens .这些 tokens 跟随每个部分,因此它们的状态以恒定的 token 成本汇集了整个组件.然后,预测旋转和翻译前的一部位意识姿势头将每部分的状态与总结 large language model 3相结合.

最新进展:全球背景提高了准确性和速度

因此,一个单一的模型可以涵盖语义和几何组合,并在一次非自动回归中输出所有姿势.由于它不会逐个生成姿态,因此该方法可以更快,同时仍然产生完整的一组部分转换.

基准图像在 datasets 中是一致的.LLM2R记录了所有三个PartNet类别中的最高部分精度和成功率. 在PartNeXt上,它具有最好的旋转误差,翻译错误和部分精确性. 在Breaking Bad上,其提供最低的翻译误差和最快的推断,只有骨折专用方法更准确.

在更大的部件数量上,收益变得更加明显.在100个部分时,LLM2R在Breaking Bad的部件准确性方面领先于GARF 33.5点和PartNet上的Assembler 29.1点.它还将零射击转移到未见类别,这意味着它没有对这些类别进行明示训练而被评估,其部分精度超过三种基线中最强的16分以上.零射擊性能表明序列级推理不仅与用于培训的类别相关联.

当前阶段是从局部关系匹配或代验证向全球,单通序列建模的转变.下一个信号是总结 tokens 和部分感知姿势头是否可以继续用骨折专业化的方法缩小差距,同时保持其速度优势随着零件数量的增加.