Hugging Face的政策负责人说内置AI评估器不是一个简单的解决方案

标签描述: 字体的类型是什么? (Meta description) AI需要可重复性,更清晰的评估者标准和更好的控制测试.

标签: 一个字母,一个字符号. (TG) " 技术乱, Anthropic , 埃森哲

首选图片: 在线视频, 下载地址: http://www. 没有真实人物,无公司标志和文字的抽象技术风格.

背景:比较成为声誉测试

AI基准测试是实验室如何比较产品和捍卫其声誉的核心.这些评估被呈现为中立且精确的系统,旨在衡量一个AI产品是否优于另一个.Yet Hugging Face首席政策官Irene Solaiman上周在一次TechCrunch Disrupt讨论中表示,它们背后的方法仍然复杂并且仍在成熟.她认为,为了让行业将来依赖基准分析,测试必须成为更一致的科学.

发展:可复制性和嵌入式评估器进入辩论

问题是当前的测试是否可以信任.Solaiman说,信任是一个加权术语,而相信结果的主要部分是评估是否可重复.她将可重现性与访问模型本身联系在一起,并指出在这个领域开放权衡非常重要.

这种访问问题长期以来使得可重复性成为基准测试的一个重要部分和一个重要的行业辩论.Solaiman补充说,评估是一个不断发展的科学,该领域还不知道如何有意义地将一项测试与另一项进行比较.她表示,测试可能会相对快速变得无效,评价的生态系统并不像需要的那样繁荣.

在过去的几个月里,嵌入式评估器已成为一个流行的想法.该概念将所谓的中立第三方观察员置于AI组织内.由于 AI实验室面临一系列安全事件而引起了人们对其技术潜在危害的担忧,因此受到关注.Hugging Face曾经是此类事件之一的目标.实验中心没有积极监管政府以识别和减轻模型安全问题,而是推动第三方解决方案.

Anthropic 决定聘请埃森哲作为其第一个评估员引发了大量的反响,一些批评者嘲笑咨询公司有资格完成这项任务. 索莱曼说现在人们渴望建立嵌入式评估人员生态系统,但确定谁是哪些任务中的有效评估员的资质需要更多标准化.

最新进展:评估超越模型

评估空间也从仅测试模型转向对其周围的整个系统进行测试,包括.带和代理. har带是用户访问模型所使用的工具,Solaiman表示它可能会对性能产生很大影响.一个较弱的模型与更好的带配对可以轻松地超过前沿模型.

目前该领域对模型的评估数量多于对带的, 并且正在开发更好的整体代理评价, 因为这就是许多用户获得价值的地方.

当前阶段:在标准化之前,所有人都免费

目前AI基准测试的阶段接近于全方位.如果要保持对行业领导者的有用工具,那么上周在TechCrunch Disrupt上的讨论表明可能需要一种更统一的,整个行业的方法.接下来要关注的是可复制性,评估者资格和.带和剂量测试是否朝着共享标准发展.