multimodal 检索情况

当输入被混.时, 视觉语言模型努力将属性与对象结合起来.

SABER 是一个对 multimodal 检索的受控基准,用于评估图像和文本配对之间的属性-对象绑定,包括复杂的场景.它表明CLIP式双编码器和 multimodal 嵌入器可以识别概念但错误地赋予对象属性.通过微调合…