随着决策模式竞争的加剧, OpenAI 使其对象Jev变得更广泛可用

OpenAI首次向所有客户提供其 Decisions API 模型,使ChatGPT Luna成为快速低成本分类器.此举将OpenAI直接置于一个围绕快速决策模式发展的市场中,这是TypeSafe通过Jev模型帮助定义的一个类别,并把由前边境实验室研究员创立的初创公司变成了 $7.6 亿美元的公司.

背景:超级分类器创建一个新的AI层

TypeSafe的 Jev 模型建立了一类作为超级分类器的深度学习模型.给定一组选项,这些模型很快就会选择一个并为决策提供信心评级.这种设计对于软件开发人员来说非常有用,他们发现决策模型 (有时被称为 System One 模型) 可以在许多工作流程中取代大型语言模型 (LLM),同时运行得更快且成本大大降低.

Decisions API ,OpenAI的API产品负责人告诉TechCrunch,同事们看到了Jev并立即认识到机会,想象了该技术的"一百万个用例".他的团队冲刺创建了一个OpenAI版本.而不是从头开始构建一个专门校准的决策模型,它采取了ChatGPT Luna并重新配置以加快推断和降低成本.

汉达将速度描述为核心变化.他说响应时间从1到3秒缩短至100,120或180毫秒.他补充说,未来的培训可能会改善这些任务的模型,但目前的产品是"简单的老Luna",适用于快速决策.

发展:从开发者日到广泛的可用性

OpenAI在9月29日的开发者节上宣布了Decisions API ,并于周四向所有客户提供.公开版本添加了新的语音和视觉模式,将产品扩展到仅文本分类之外.OpenAI还通过地理定位其推断资源来降低世界各地地区的延迟时间.

在与Box,Datadog,Ramp和Speak等客户的初步试验中,工程师使用了API来取代OpenAI的LLM以更高的吞吐量. Speak公司的首席技术官说,AI允许该公司将动作之间的时间从1.4秒缩短到0.13秒. OpenAI还利用该产品提高Dots语音助理的响应速度.

尽管如此,除了它是否适用于特定的工作负载之外,还没有什么是良好的决策模型的确定的定义.在智能化,成本,校准和速度方面的优化似乎因用例而异.TypeSafe CEO Diogo Almeida不信任基准并敦促开发人员在其自己的工作中测试模型.即便如此,TypeSafe上周发布了自己的排名以及其最新的Jev模式,其中包括对图像和smart-if语句的支持.

最新进展:基准,竞争和更广泛的使用

公共基准如AIM System One Index和Artificial Analysis Decision Index倾向于支持D1 Ultra,这是Liquid上周发布的新决策模型,Base Lab Base Labs Elephant-1.最新的Jev模式在两个指数中保持竞争力,分别排名第7位和第三位,而OpenAI Decision Models Decision Model则跌至第8位和第14位. 目前,TypeSafe的产品是OpenRouter上最受欢迎的.

一个更有趣的测试是JevMan,这是一个决策模型玩Pac-Man的基准.最新的Jev型号在排名中处于首位Felix Wunderlich,创建了该基准的首席开发官Opper AI,表示这款经典游戏很有意思,因为它呈现了一系列快速高风险决定. 在每个十字路口上,模型必须选择几百毫秒内去哪里.

对于图像分类,Handa说Luna非常强大并且已经显示出更好的校准.他还指出OpenAI客户希望Decisions API在使用图像作为输入和输出方面变得更加灵活.

汉达认为进一步的速度增长开辟了新的可能性.如果API达到60毫秒左右,他建议开发人员可以想象在视频中为每一打电话.随着这些产品变得更快和更便宜,他们可能会符合杰夫的名字背后的想法,一位经济学家解释了如何更高效地使用资源使其更加无处不在.汉达更广泛的期望是决策模型将揭示一个不断扩大的"疯狂的用例集",隐藏在眼前.

目前的阶段是OpenAI从一个有针对性的决策模型概念转向广泛可用的基础设施:一种更快,更便宜的分类层,现在面临着基准竞争,多式联运期望和新的实时使用案例.

Meta Description:OpenAI的Decisions API现在可供所有客户使用,使用ChatGPT Luna在全球地区实现快速,低成本的分类工作负载.

标签:OpenAI,决定 API, ChatGPT Luna,TypeSafe Jev,决策模型

首选图片:抽象的技术风格, speed烂的决策路径和测速仪;没有真实的人物,没有公司标志,没有文字.