U空间:揭示语言模型何时以及为什么会产生不确定性

标签描述: 字体的类型是什么? (Meta description) U-Space追踪了四个不确定性来源,而U-Lens将它们与预测结合起来以在三种模型中估计一代的可靠性.

标签: 一个字母,一个字符号. (TG) " 机械解释性,不确定性的量化,U空间,U镜头,推理模型

首选图片: 在线视频, 下载地址: http://www. 抽象的技术风格, 有多层次信号路径和不确定性轮.,

背景:没有重复测试的可靠性

不确定性量化通常依赖于外部检查:多次询问模型,比较答案或对已知的正确度进行分数输出.这些方法可能是有用的,但它们添加计算,需要标签或取决于特定任务培训.新的方法反而询问一个模型自己的内部表示是否包含足够的信号来估计单一次通过中的可靠性.

机械解释性提供了桥梁.如果可以在模型中隔离不确定性,部署系统就可以读取它而不必反复查询模型或检查每个答案.这对于已经花费 tokens 的推理模型很重要.对于代理工作流程来说,这可以降低成本,因为可靠性检查不再需要再次调用模型 JUST 以决定是否重试或路由到另一个系统.

发展:U空间地图四个不确定性来源

核心对象是U-Space,一个可解释的子空间.它通过模型s生成追踪四个不确定性来源:模糊性,未完整信息,冲突证据和一般不确定性的问题.这些标签给出了为什么答案可能会动摇的人类可读地图,而不是仅产生数字信心值.因为信号可以表达出来,操作员可以看到哪种不确定类型出现,而不仅仅是答案有多么不确定的.

第二个部分是U-Lens.它结合了来自U空间的可表达信号与预测,被描述为一级分布不确定性度量. 预测 ?? 总结了模型概率估计在可能下一个 tokens 上如何分散. 这两种输入一起估算了一个代的答案可靠性. 该方法不需要多次向前传递,正确标签或特定任务培训.

最新进展:三种模式,四个基准和一个关键数字

结果将联合预测器描述为最先进的不确定性预测仪. 在评估中,U-Lens在三个推理模型 (Gemma-4-31B,Qwen3.5-27B和Magistral-Small) 和四个基准:MMLU-Pro,Omni-MATH,SuperGPQA和TriviaQA上领先于不确定性的估计.

一个中心数字是长度控制结果.响应长度在对其进行控制之前是一个强有力的预测指标,达到68.6 AUROC,但在长度控件下降到52.4.AUROC衡量得分如何将可靠和不可靠的答案区分开来,而非信息性得分则随机存在.大多数其他基线在长期控制时性能下降. U-Lens仅下降了1.8点并且仍然最强.

这种比较很重要,因为长答案可能包含更多的对冲短语,而仅仅追踪长度的分数将不是可靠的不确定性信号.报告中的1.8-点下降表明U-Lens信号在删除长度后仍然含有不确定性的信息.

内部视图还显示时间. token 级读数揭示了何时和什么形式的不确定性在生成过程中出现.报告的转向结果使信号具有行为相关性:沿着确定的方向转动可以让模型甚至在简单的问题上犹.

目前阶段:一个没有标签的原型与早期扩展

这项工作目前被定位为无标签不确定性原型.核心证据是基准的,但更广泛的方向仍然很早:初步实验表明同样的无标记结构超越了不确定性的情绪和奖励黑客行为. 目前,实际意义是一个单一代可靠性估计比测试基线少依赖响应长度并且可以在 token 级别进行检查.

接下来我们要看的是没有标签的构建是否超出了报告中的模型和基准,以及情感和奖励黑客扩展是否超过初步实验.