修改乘法,保留参数:对 Transformers 的关联代数层
这项研究探讨了在 Transformer 投影中用低级别的关联代数运算替换标准矩阵乘法,同时保持参数计量不变. Qwen 和 DeepSeek 形状的GPU个内核显示算术节省,而110M-参数模型实现 6.2-7.8%更高的端到端生成吞吐量. 然而,代数模型在 GSM8K,MBPP 和 IFEval 上得分较低,这表明…
Latest
- 1 修改乘法,保留参数:对 Transformers 的关联代数层
- 2 OpenAI 模型泄露了 cryptocurrency wallet 并破坏了其他网站
- 3 Anthropic 允许第三方审计人员在一个 AI 行业中首次获得员工般的访问权限
- 4 A reinforcement learning 关于 OPD 的观点:为样本效率的最小正方形政策蒸 LLM推理
- 5 警方表示, 用户"per士变态者"制作AI儿童性虐待材料是新泽西州的检察官.
- 6 非文本 AI 模型的开发者 Jev 在推出 JUST 周后达到 $7.5B 的估值
- 7 MJev-Spatial通过本地注意力匹配使系统一空间智能成为可能
- 8 用于神经图像水印的可转移残留物
MJev-Spatial通过本地注意力匹配使系统一空间智能成为可能
MJev-Spatial使用Qwen3.5-4B的单通分类来解决空间任务,在12个基准测试中得分为65.64%,运行速度是5.6倍.
DeltaStreamer旨在实现类似人类的流媒体视频理解.
德尔塔Streamer观看流媒体视频,建立可搜索的内存,并重新访问 late为迟的问题,提高开源视频理解.
美国银行正在分配4,000员工来解决 Anthropic 的Mythos和其他AI模型发现的漏洞.
美国银行已经分配了1,000个外部承包商和3,000名内部员工来纠正AI模型发现的 software 种漏洞,包括 Anthropic 的神话. 这项努力始于安全实验室推广人工智能驱动的漏洞发现后,事…
Black Forest Labs'开放式图像模型FLUX 3 Image Klein可以在消费者 GPUs 上运行,只有8 GB的视频 RAM.
FLUX 3 Image Klein是一个 5.6B开放式图像模型,具有 4K编辑,十个引用,8 GB视频 RAM支持, fine-tuning ,免费商用.
修改乘法,保留参数:对 Transformers 的关联代数层
这项研究探讨了在 Transformer 投影中用低级别的关联代数运算替换标准矩阵乘法,同时保持参数计量不变. Qwen 和 DeepSeek 形状的GPU个内核显示算术节省,而110M-参数模型实现…
A reinforcement learning 关于 OPD 的观点:为样本效率的最小正方形政策蒸 LLM推理
LSPD将政策蒸.改为KL规范的RL,使用最小平方匹配和重复来提高样本效率LLM推理.
用于神经图像水印的可转移残留物
一项研究测量了神经图像水印中的残留可转移性,将其与架构联系起来,并提出Cover Lock抵御伪造.
结构化剩余连接在传播中的重要性
结构化路由允许DiT解码器选择编码器特征,添加微小的参数并改进 ImageNet FID 从 5.87 到 4.94 在 0.28M 的步骤.
核电站能提供多少更多的电力?
US 核电运营商计划为 AI 数据中心增加千兆瓦的发电量,但需求仍然超过容量.
Microsoft 的目标是在2027之前将其内部Maia AI芯片扩大到千兆瓦级容量.
Microsoft 计划通过2027实现多千瓦的Azure Maia AI芯片. Maia 200运行 Copilot ;Maia 300以HBM4内存为目标,每兆W高出 tokens .
非文本 AI 模型的开发者 Jev 在推出 JUST 周后达到 $7.5B 的估值
Jev,一个非文本决策 AI,将$870M 提升为$7.5B,得到a16z的支持,并通过输出自动化概率达到财富500强用户.
Amazon 和其他 tech giants 不再隐藏 data center 交易, 但它会赢得信任吗?
Amazon 终止了当地 data center 交易中的NDA,在AI基础设施反弹中加入 Microsoft . Personal AI代理商还需要用户和网站许可.
未来的工作职位:空中交通管制员
FlyTrex RPICs 监督在达拉斯的 drone 个自主交付,使用FAA认证的UTM协调和安全检查来管理天气风险.
从证据到行动:加快药物影响与实践 AI 采用
瑞的Nabil Khan说制药团队可以使用AI来合成不断增长的证据,
Anthropic 允许第三方审计人员在一个 AI 行业中首次获得员工般的访问权限
在监管压力下, Anthropic 为六名第三方评估员提供了类似于雇员的访问权限 AI,使监督超出自愿承诺范围.
Anthropic 为Model Evaluation和Threat Research提供内部访问以审核其AI模型和安全实践
Anthropic 授予6名METR审核人员内部访问权限,以对AI安全进行审计 (不包括敏感数据),并独立发现和编辑检查.
Anthropic 允许来自Model Evaluation和Threat Research的研究人员使用员工级别访问来检查其内部系统.
Anthropic 为六名METR研究人员提供员工级访问权限,以评估AI的安全性和风险,并拥有独立出版权.
Eight US 美国起诉 OpenAI ,称 ChatGPT 对儿童来说不安全
Eight US各州起诉 OpenAI ,指控 ChatGPT 对儿童构成风险,缺乏安全警告并违反消费者保护法.