OpenAI 表示其经过Generative Pre-培训的 Transformer 6模型在处理传统的 programming 语言,如Common Business-Oriented Language和Fortran方面要好得多.

Meta Description: OpenAI 的GPT-6 Astra和GPT-6.1 SOL 在MultiLangBench和COBOL迁移测试中得分约87%,显示了低资源语言的进展.
标签: OpenAI , GPT-6,低资源语言, COBOL迁移
Featured Image: 传统代码路径的抽象技术风格图像汇聚到现代语言目标,没有真实的人物,没有公司标志,没有文本.

OpenAI 对低资源语言的GPT-6模型在两个新的评估中大幅提升, GPT-6 Astra和GPT-6.1 SOL 在旧型号基本上失败的任务中达到了87%左右.这些结果很重要,因为COBOL,Fortran和Visual Basic没有广泛地代表公共培训代码,但 OpenAI 表示它们支持全球关键基础设施.

传承代码和有限的 training data 设置舞台

用COBOL,Fortran和Visual Basic编写的系统长期以来一直嵌入重要服务中.这些语言中的训练语言模型可用的代码数量远小于 Python ,这造成了资源不足的问题:较新的系统有更少的文本可以学习,但这些语言仍然支.着日常基础设施.

IBM 的估计显示为什么这种不平衡在现实世界具有重量.该公司表示,COBOL支持超过40%的网上银行系统和95%的所有ATM交易.这些数字使得旧 programming 语言的进步比最初看起来更有意义,即使 training data 是有限的.

两项评估追踪能力差距

OpenAI 建立了两个测试来衡量新型模型是否可以处理这种工作.第一个是MultiLangBench,列在 GitHub 上.它要求模型从头开始创建与SQLite兼容的数据库引擎并报告20个语言中的平均测试通过率.

第二个基准是COBOL迁移测试.它将 COBOL代码翻译成 C++ ,Java,Kotlin, Python 或Rust .这种设置更接近于实际的维护任务:将旧逻辑转换为具有较大的生态系统的新语言,同时保持足够完整的行为才能通过测试

最新结果显示,特别是在迁移工作方面出现了飞跃增长. "

MultiLangBench 数字显示GPT-6 Astra和GPT-5.6 Terra之间存在很大的差距.在最大的推理力度下,GPT- 6 Astra 在20种语言中平均达到87.4%的测试合格率. GPT- 5.6Terra被描述为约38%,其在比较中所列出的得分是37.9%.

OpenAI 的图表将图像归功于 OpenAI ,并显示GPT-6.1 SOL 在MultiLangBench上也达到了约87%的成绩,与GPT-6 Astra相匹配. GPT-6 Luna得分为40.3%,仅略高于GPT- 5.6 Terra (89912%),但 OpenAI 指出它运行成本要低很多.

迁移基准是最新结果最明显的地方.GPT-6.1 SOL 在较低的推理力度下达到86.6%的精确率,相比之下 GPT-5.6 SOL 为5.4%.当推理力的努力提高时,GPT- 6.1 SOL 将精确度提升到97.9%.

现在的情况

目前的情况是测量能力明显跃升,而不是完全解决的答案. OpenAI 的评估表明GPT-6类模型可以在选择低资源的 programming 任务上表现得比GPT-5.6更好,特别是COBOL迁移.下一个问题是数据库构建和翻译基准上的高通过率是否会转化为依赖于旧语言的许多真实系统中的可靠工作.