在不相关的决策上留下微妙的行为痕迹

超级描述: Active Taskless Distillation显示一个经过编码培训的老师可以使用5,664个单词答案从无关提示提升学生模型HumanEval+分数.
标签:Active Taskless Distillation,模型蒸, LLM培训后, 人类Eval+,行为影子
主要图像:抽象的 neural network 与分散的一字 tokens 形成一个微弱的网格,没有人,没有标志,没有文本

Active Taskless Distillation,在研究发现中描述的一种方法,表明经过编码训练的教师可以让学生模型更好地编程而不需要向其展示代码.结果很重要,因为它表明后培训可能会留下通过无关输出传播的小行为痕迹,并可由另一个模型恢复.对于追踪AI系统之间能力移动的方式的读者来说,任务数据的缺失并不使模型的行为信息免费.

背景:蒸通常从任务开始

典型的蒸.使用任务链接信号.教师模型可能提供来自同一域的输出,逻辑或示例,学生模型从这些信号中学习.源设置为学生删除了这三种情况.学生永远看不到代码,任务示例或老师逻辑.

相反,报告的序列始于对编码经过后训练的教师模型. 后培训是基础模型被训练之后的阶段,当一个模型被塑造为特定任务或行为时. 然后要求这位编程受训的老师用每个单词回答无关的提示.学生只接受这些单字答案的训练.

之前的研究已经表明,偏好可以通过间接行为传递.新的说法更强大:来源描述这是第一次以这种方式转移能力.该方法被称为Active Taskless Distillation,或ATD,因为它在不给学生原始任务的情况下寻找能力信号.

发展过程:单词答案成为传输道

该实验将这一说法转化为可测量的编码结果.经过编程培训的老师对无关提示产生了数千个单词答案.学生模型仅从这些答案中学习.在5,664个单字答复中,学生在HumanEval+上获得5.34pp比麻烦匹配控制器. HumanEval +是编码基准,而5.34p意味着增加5.34个百分点.

来源给出的解释是,培训后会留下分布式的行为影子.在普通单词之间出现微小的偏好转移,即使是在无关紧要的情况下.ATD针对基本模型几乎未决定的决策.在那些接近平局的情况下,小型变化可以揭示早期更新的方向.教师没有明确地教授代码.它泄露了一个学生可以使用的模糊模式.

最新进展:阴影超越了代码

结果并没有被描述为仅编码的文物.该消息来源说这种效应在科学,常识,阅读理解,模型大小和家庭中都存在.这一广度表明学习的能力可能远远超出了最初的训练任务.

关键点不是单词答案本身就有意义. 主张是,成千上万的看似毫无意义的行为变化,被放在一起,带着丰富的培训后痕迹. 一个编程受过训练的老师可以通过无关的最小输出来表达这一痕迹,学生可以吸收足够多的信息以提高编码能力.

当前阶段:研究信号,而不是常规培训工具

在这个阶段,这一发现是一个研究信号而不是一个标准的培训管道.它表明当学生接触到教师经过训练后的行为时,微小的普通单词选择可以作为能力转移的道.具体点仍然是5,664个单词答案和5.34pp的人类Eval+比麻烦匹配控制器的收益.

下一个问题是这种行为影子是否可以在更多的环境中可靠地使用,还是它仍然是一个令人惊但狭窄的窗口来了解培训后如何改变模型.目前,结果扩大了蒸.的概念:一种模型可能会教导另一个模型不是通过向其展示任务,而是通过几乎所有所说的话留下训练痕迹.