修改乘法,保留参数:对 Transformers 的关联代数层
这项研究探讨了在 Transformer 投影中用低级别的关联代数运算替换标准矩阵乘法,同时保持参数计量不变. Qwen 和 DeepSeek 形状的GPU个内核显示算术节省,而110M-参数模型实现 6.2-7.8%更高的端到端生成吞吐量. 然而,代数模型在 GSM8K,MBP…
研究工作
重要机器学习论文,总结没有术语.
A reinforcement learning 关于 OPD 的观点:为样本效率的最小正方形政策蒸 LLM推理
LSPD将政策蒸.改为KL规范的RL,使用最小平方匹配和重复来提高样本效率LLM推理.
用于神经图像水印的可转移残留物
一项研究测量了神经图像水印中的残留可转移性,将其与架构联系起来,并提出Cover Lock抵御伪造.
结构化剩余连接在传播中的重要性
结构化路由允许DiT解码器选择编码器特征,添加微小的参数并改进 ImageNet FID 从 5.87 到 4.94 在 0.28M 的步骤.
超越时间标签:与长期代理商的决策相一致的政策蒸
AlignOPSD将蒸.从时间标记转移到功能决策跨度,使用信用分配来改善长期代理培训.
BaRe-Mem:贝叶斯可靠性记忆以支持强大且适应的代理查询
BaRe-Mem从经过验证的反中学习取决于情境的顾问可靠性,调整建议,并帮助代理人选择咨询或推理.
在LLM个代理执行过程中预测 token 次使用
根据通话数量,背景增长和剩余成本预测有LLM个代理使用 token ,从而改善预算控制并降低了 token 的支出.
RenderRank:学习从压缩视觉 tokens 的文本重新排名.
RenderRank使用压缩视觉 tokens 重新排列文档 ,减少输入长度16.5-35.5%同时在11个BEIR datasets 中实现NDCG@10 55.96.
GeoVerse:用世界的一致性在几何潜伏空间中的新视图合成
GeoVerse 增强了稀疏图像视图合成,具有几何隐藏扩散,Wan2.2 VACE 前置和全球内存,改进 PSNR 和 ATE.
TT-VidT:解开时间维度以实现高效的动作视频预训
TT-VidT使用每运动 tokens 和一个关键镜头来分离外观与时间变化,实现强大的小规模结果.
编码代理可以管理跨存储库的变更协调吗?
WideSWE在103个生态系统的120个交叉repo任务上测试编码剂;最高成功率为42.50%,显示协调变化仍然很难.
InfiniHand:从自我中心视频实时世界空间手动估计
InfiniHand从未校准的自我中心视频中共同估计手势,摄像机运动和世界空间位置, 减少漂移在 11.19 FPS .
印记阅读器:从解码体重更新到行为干预
这篇文章解释了Imprint Reader,这是SMaRT-Vibe-Alignment的一个组件,可以检查在没有特定任务的 training data 的情况下创建的模型重量更新.它可以说明更新对模型所学到的是什么,尽管自由形式读取仍然是粗略的.较新的版本和前.评分将读取转化为…
QwenGyre:一个动态可扩展的 reinforcement learning 框架,用于训练xLong-Horizon代理人
QwenGyre通过弹性GPU重新分配和轨迹复制提升了长视野在线RL,将NL2RepoBench提高到58.5%.
教统一模型通过Interleaved进行原生反射 reinforcement learning
UMM-Reflection通过全循环 RL 训练一个模型来诊断,修改,染和判断图像修复,从而提高 BAGEL 的基准分数.
双联MPE:在全双联对话中多方互动的基准
Duplex-MPE在2,000个仅有音频的多方聊天中对语音助手进行了基准测试,测试收件人,响应时间,答案,沉默和停止.
CoWindow关注:作为集体属性的完整因果覆盖
CoWA在各个方面都有共同的因果关系;MALA跳过了低贡献率的工作,减少FLOP并加快长时间背景培训和推断.
重复自动语音相似性评估:从相同的错误率到 embedding 几何
扬声器验证模型经常被用作人类声音相似性判断的自动代理.这项分析表明,训练目标和 embedding 几何学比EER更好地预测知觉对齐.基于边际的损失 (如AAM-Softmax) 可以产生 embeddings 在几何上紧.但与人体感知不太一致的数字,而原型的度量损失和较低的有效…
在不相关的决策上留下微妙的行为痕迹
ATD允许编程教师通过5,664无关的单词答案提高学生HumanEval+分数,揭示隐藏的培训后痕迹.
REALM:为体现反应式倾听提供一个渐进的生成框架
通过粗到细,因果关闭的运动和音频调节微动力学.