解开文本混乱:揭示混合模式回收犬的模态偏差

三角形构建三种文档视图以修复混合模式检索

简介:三角形解决混合模式检索偏差,因为密集的检索器在文本,图像和合并文件共存时扎,暴露了文字中的混乱.

标签:密集的检索器,混合模式搜索, 三叉, 多式查找,文件 AI

首选图片:一个抽象的技术场景,重叠文本面板,图像和合并文件节点;没有真实的人物,没有公司标志,没有文字.

一篇关于混合模式检索的论文报告说,当文本,图像和融合文字-图像文件被混在一起时,密集检索器 (用于查找相关内容的基于矢量引擎) 可能会失去准确性.所提出的方法Trident为每个文档构建三种视图并使用它们来减少研究称之为"文章中的混乱"的失败.该结果对任何必须从同一库中排序书面内容和视觉内容的系统都很重要.

背景:密集的回归犬与混合体相遇

密集检索器通过比较查询和文档向量将内容编码为固定大小的表示,并对文件进行排序.这种设计在文字体和图像体上工作得很好,其中训练信号通常集中在一个模式中.开放的问题不是这些检索程序是否可以处理纯文本集合或纯图像集合.而是在语料库同时包含文本,图片和融合文本-图像文档时它们是否仍然可靠.混合字体使这个问题变得更难以解决,因为该模型不能再把一个信号视为默认值.屏幕截取,段落和融合文字-图形页面都可能与相同的查询相关,但它们以不同的方式呈现.

发展:V形曲线显示文本中的混乱

该研究的核心实验逐渐改变了体.图像文档被语义上对应的文字表示逐步取代.由此产生的检索行为没有顺下降.它形成了一个明显的V形曲线.在单模态结束时,性能仍然很强.在混合中间,它退化,表明检索者对模式组成敏感,而不仅仅是意义上的相关性.

最尖的发现是关于分心因素.当添加不相关文本时,检索质量比增加相同数量的无关图像更严重.该研究将此故障命名为"文字中的混乱".分析解释了原因:检索器显示一种模式偏好,对文本表示赋予系统地较高的相似度得分.这种偏好让无关文本超过相关图像,使混合体成为其他有能力模型的陷.

最新进展:三叉子将每个文档转化为三个同等的视图

在训练过程中,Trident通过改变每个文档的表示方式来解决这种偏差.该方法构建了每份文件的三种视图:文本视图,图像视图和合并的文字-图片视图.这些视图被视为同等的正面值,而不是作为一个附加副本的主要表征.培训目标Multi-Positive View InfoNCE优化了两个目标:相关性歧视,这有助于模型将相关内容与无关内容分开,以及积极视图平衡,从而使不同的视图无法拉向检索器的一种模式.

通过视觉文档和自然图像基准,该论文报告说这种设置可以改善基于CLIP和VLM架构的混合模式检索.它还可降低对模态组合和文字干扰者的敏感性.重要的是,收益并不是作为削弱单模使用的权衡:研究称Trident提高了平均单模搜索性能.

目前阶段是诊断和缓解阶段:混合模式检索已被分为命名的故障模式,并且Trident在两个架构家族和两个基准类别上测试了三视图校正.下一个问题是相同的三个视图设置是否超出视觉文档和自然图像基准,并在更多的搜索器家庭中保持.