据报道, OpenAI 计划在今年至少推出一款车型,但其旗舰机型仍需要调整.

标签描述: 字体的类型是什么? (Meta description) OpenAI 可能会在今年年底前推出一两款新车型,

标签: 一个字母,一个字符号. (TG) " OpenAI , 循环式的 Transformers , AI 安全性, 阿斯特拉

首选图片: 在线视频, 下载地址: http://www. 一个抽象的 neural network 层循环通过 Transformer 块, 柔软的蓝色和.珀色渐变,

OpenAI 正在努力完成其下一款旗舰机型,员工表示该公司可能会在年底前推出一个或两个新车型. 这些计划很重要,因为这款旗艦是围绕Astra使用的相同循环式 Transformer 方法构建的,

背景:采用与Astra相同的技术制造的一艘旗舰船

据知情人士报道, OpenAI 预计今年年底前将推出一两款新车型.目前尚不清楚该公司的主要升级型号是否会在其中.新的旗舰机可能还有一段距离发布.它需要调整工作以使其目标与 OpenAI ,研究人员和客户的期望相匹配. OpenAI 也需要加强模型周围的测试基础设施,然后才能向前发展.

根据一个熟悉情况的人说,下一代旗舰使用循环 Transformers . OpenAI 已经在生产中以Recurrent Depth的名称运行了这种技术.该方法是Astra的核心.而不是一次通过 Transformer 层传递 token ,模型会在输出下一个单词之前多次通过同样的层进行循环.这可以提高数学和编码的性能并降低成本,因为较小的模型可以实现比其尺寸更大的目标.

发展:安全和政府审查决定释放路径

同样的循环创建了一个安全问题.它将模型的推理部分从可读性文本移动到人类审核员无法检查的内部数值表示中.这削弱了 chain-of-thought 监控,这是一个安全研究人员遵循模型推理以检测有害行为的方法.信息报告说, chain of thought 7故意限制了Astra运行的循环数量,以保持其 chain of thought 0的可读度.

接下来的障碍是政府审查.一旦领导层对安全评估感到满意,President Trump的行政命令规定了先进的AI系统的评价需要采取另一个步骤.根据该命令, OpenAI 同意让US在向外部合作伙伴发布前30天内访问新型号,并在公开推出之前更长时间.

在Hugging Face事件发生后,该公司的安全优先级也发生了变化. 熟悉这些数字的人说 OpenAI 将其总计算量的大约10%转移到对齐和安全方面. "信息"报道称这相当于 data center 容量中的数百兆瓦,尽管目前还不清楚之前分配给安全多少计算或现有的分割情况是什么样子. 以市场价格来看,转换的计算每年需要数十亿美元才能租用. AI研究员Noam Brown在9月中旬的一次播客中表示,他的团队约有百分之十也致力于安全与安全.

最新进展:一个 Microsoft 泄露揭示循环推断细节

OpenAI 公司内部使用该技术是通过 Microsoft 错误公开的. 拥有 OpenAI 知识产权的大型投资者 Microsoft ,在本月早些时候推出的更便宜的Astra替代品 OpenAI ,GPT-6.1 SOL 上发表了一篇技术文章.

在现在已删除的部分中, Microsoft 描述了GPT-6.1 SOL 使用循环推理,在此情况下模型在产生答案之前通过多次传递处理相同的问题.信息引用了一个缓存的页面副本,该页面表示GPT- 6.1 SOL ,与GPT-6 SOL 使用同样的基本模型权重而不是三个推断通道.有直接知识的人证实这篇文章符合 OpenAI 私下告诉 Microsoft . Microsoft 意识到它不打算公开后取消了这一部分.

泄露显示,循环式 Transformers 仍然是 OpenAI 模型开发的敏感部分,无论是在培训期间还是推断时. OpenAI 首席科学家Jakub Pachocki承认 chain-of-thought 监测越来越脆弱,不幸的是趋向于消极方向. 他还警告说,整个行业都在竞争没有可读性推理的模型.

现在的情况

OpenAI 正处于预发布阶段.员工指出可能在年底前出货的一两款新型号,但主要的升级旗舰仍然需要调整,更强大的测试,安全批准和政府审查访问权限.循环式 Transformer 方法为 OpenAI 提供了以较低成本获得更强大数学和编码结果的途径,同时也将安全监控推向不那么明显的内部表示.下一个问题是公司是否可以在这些权衡解决之前出货.