基于现实世界的参考创建3D内容的BlenderWorld比较视觉代理

Qwen 团队推出了BlenderWorld基准来衡量视觉代理如何完成现实世界3D创建任务,而不仅仅是制作有吸引力的图像.该基准将Blinder项目转化为可测试的交付结果,让开发人员能够比较空间推理,工具使用和 visual代视觉反模型.

背景:视觉代理从2D任务转向3D创作

在此版本之前,视觉代理已经用于构建网站,设计海报和创建幻灯片.这些任务具有清晰的视觉结果,并且经常在平面布局上运行. 3D 创作更困难,因为它需要一个代理理解深度,对象关系,材料和功能结构,同时使用可以逐步改变场景的工具工作.现有的基准提供了现实的开放式3D任务的有限覆盖范围. BlenderWorld 是为了解决这一差距而建立的,通过完整测试项目创建而不是孤立的.染器.

开发:BlenderWorld将3D输出转化为可测试的基准

基准包含9个领域和22个子类别的223个现实任务.这些领域包括建筑,产品设计,自然,角色动画和科学可视化.任务输入可以是文本,图像,视频或结构化的规范文件.预期的输出不是单一的染,而是一个完整的,可编辑的Blender项目.由于交付结果仍然可以编辑,因此基准可以测试代理是否理解图像背后的结构,而不仅仅是其最终外观.

为了判断这一级别的细节,该团队定义了2,651个特定任务的精确标准.这些标准涵盖13个方面,包括几何学,空间布局,材料和功能.在评估过程中,代理人自动选择并呈现8种关键视图.Vision-Language Model-as-Judge评价视觉输出,而Agent-as-Juge检查底层项目结构.整体质量也通过8个维度进行评估,包括真实性和物理可信性.

最新进展:GPT-6-Astra引领,但完美的任务完成仍然很少

该团队评估了13个前沿模型. GPT-6-Astra以79.9的得分领先,尽管如此,最强大的模型仅在42.2%项任务上满足了每一个细粒度要求. 这一结果表明高分数还不等于可靠的3D创作. 评价结果显示,解释 multimodal 条引用,满足详细需求以及处理物理和空间关系方面存在持续差距.

基准的关键数字显示了它的范围:223个任务,9个领域,22个子类别,890万标准,13,测量方面,8个染视图,8个整体质量维度和13个评估模型.交互式3D画廊允许访问者在浏览器中直接探索,旋转并比较不同模型中的创作.该论文可用https://arxiv.org/abs/2610.23986,项目为https://blenderworld.github.io/,代码是https://github.com/QwenLM/BlenderWorld.代码和 dataset 是公开提供的,团队指出如果用户发现BlenderWorld有用的话,他们可以开始使用 GitHub 存储库.

基准的变化

BlenderWorld将视觉代理的评估从简单的视觉比较转变为对完整3D项目的检查.对于读者来说,价值是更清楚地了解当前模型的位置:他们可以创建有用的Blender场景,但许多任务在通过几何学,材料,功能和物理可信度判断时仍然失败.公共基准和画廊使这些差距能够跨模型和任务类型进行测量.

简介: Qwen 团队推出了BlenderWorld,一个223个任务的基准和2,651个标准来评估真实的3D创作中的视觉代理以及13个模型得分.

标签:BlenderWorld, Qwen 团队,视觉代理,3D基准测试

精选图片:抽象的技术风格场景与3D线框对象,染视图和评估面板;没有真实的人,没有公司标志,没有文本.