RenderRank:学习从压缩视觉 tokens 的文本重新排名.

代码描述: RenderRank使用视觉 tokens 重新排名文档 ,将输入的 tokens 降低了16.5-35.5%,同时在11个BEIR datasets 中达到NDCG@10 的55.96.

标签:文档重新排名,视觉语言模型,BEIR,NDCG@10,视觉 tokens

首选图片:抽象技术风格,显示压缩的视觉文档页面变成 token -like彩色流入排名网格,没有真实的人,没有公司标志,没有文字.

RenderRank是一种重新排名方法,它用压缩的文档视觉表示替代了通常的文本 token 序列.而不是将每个候选文件作为长串文字 tokens 输入到模型中,而是将该文档 image染为图像并让视觉语言模型将其处理为视觉 tokens .报告结果很重要,因为重定位对每一个查询评估许多候选文档,因此在整个排名过程中节省了 token .

背景:重新排名将查询变成昂贵的评分工作

在检索系统中,重新排名是在初始搜索步骤之后进行的.该系统首先收集候选文件,然后对每个候选人的查询进行评分以决定最终顺序.这意味着一个查询不是 JUST 的一个模型调用.它是一系列评估,每一项都要求模型读取查询和候选文档.

传统的基于文本的重新排名器将文件表示为文字 token 序列.当一个文档很长时,该序列处理起来就变得昂贵了.成本不仅仅是单个评分调用.它在许多候选文档中重复出现.这使得输入长度成为重新排行中的核心关注点,特别是在必须快速对很多文档进行评分的系统中.

发展:从 Pag染页面到压缩视觉 tokens

RenderRank背后的核心想法是改变输入表示.当文档文本被 image染为图像时,视觉语言模型可以将页面编码为可视化 tokens .这可以减少与文字输入相比输入序列长度.

RenderRank使用这种压缩的视觉文档表示来学习查询依赖相关性评分.它不是依靠传统基于文本的重新排名器所用的文字 token 序列,而是根据其视觉输入对文件进行评分,同时仍然将得分适应特定查询.

培训过程遵循一个明确的序列.首先,从视觉输入中产生的相关性得分与基于文本的教师模型的得分保持一致.然后,该方法对相同查询中的正和负文件的相对得分进行了改进.这两阶段的培训旨在使视频输入更像是一个可靠的排名信号而不是文字的损失替代品.

最新结果: token 减少和排名分数

报告中的评价涵盖了BEIR的11 datasets ,用于测试信息检索系统的基准套件.在这些 datasets 中,RenderRank使用16.5-35.5%更少的输入 tokens ,同时获得平均NDCG@10的55.96. NDCG @ 10通过检查相关文档如何被放置在结果列表顶部附近来衡量排名质量,重点是前十个位置.较高分数表明排名精确度更好.

在该设置中,RenderRank超过了所有低于4B参数和一些更大的模型的评估基于文本的基线.这一结果值得注意,因为它将 token 效率与竞争性排名准确度联系起来,而不是仅以速度作为好处.

长文档结果更清晰.在四个长文本 datasets 中,RenderRank实现了88.27的平均NDCG@10,同时使用评估的基于文字的重排序器的平均输入 token 数量的大约一半. 在这个设置中, RenderRink提供1.70x评价基线的最高平均吞吐量.

当前阶段:一种替代性代表,而不是普遍的代替

研究结果表明,压缩的视觉表示可以支持准确的文档相关性评分.它们为重排名提供了文字 token 表示的替代方案.这很重要,因为重新排名长期以来一直取决于文本序列,任何在不牺牲排名质量的情况下降低数字数量的方法都会影响搜索管道中的延迟时间,成本和可扩展性.

当前阶段是基准演示.证据来自特定的评估设置:BEIR 11 datasets ,四个长文档 datasets 和与经过评价的基于文本的基线进行比较.下一个问题是该方法在这些测量条件之外如何表现,特别是当文件布局,图像分辨率或查询风格不同时已经测试了 datasets .