双联MPE:在全双联对话中多方互动的基准
Duplex-MPE在2,000个仅有音频的多方聊天中对语音助手进行了基准测试,测试收件人,响应时间,答案,沉默和停止.
主要内容
- 双重MPE评估语音助手在多方对话中的全双重功能,专注于何时说话,回答,保持沉默或停止.
- 它使用 2,000 配对的纯音频场景,有三个或四个人类扬声器和助手,对比了明确和隐含的解决方案.
- 模型必须推断谁在说话,是否有适当的回应没有成绩单或提供转折边界.
- 该基准将评估分为响应启动,答案正确性,适当的沉默和人类解决方案后停止.
- 该框架在项目页面上记录,数据和代码计划于12月之前发布.
标签描述: 字体的类型是什么? (Meta description) 双重MPE基准测试评估语音助理是否使用仅有声音的场景在多方对话中说话,保持沉默,回答或停止.
标签: 一个字母,一个字符号. (TG) " 语音助手,语言基准测试,Duplex-MPE,多方对话,AI研究
首选图片: 在线视频, 下载地址: http://www. 没有真实的人物,无公司标志和文字. 在这个过程中,
背景
当多人说话时,语音助理面临比转录更困难的问题:是否要回应.在错误的时刻提供的答案可能会打断,混.或破坏小组,而沉默可以是更安全的回答.
发展过程
双流MPE基准使用2,000对配的场景来进行连续的多方对话.每个场景包括三到四个人类扬声器和一个助手,对比明确和隐含地解决问题.模型在没有成绩单或提供转折边界的情况下接收音频,迫使系统推断说话者是谁,是否正在向助理讲话,以及何时响应适当.分开的指标评估了响应启动,答案正确性,保持沉默以及当人类解决请求时停止.
最新进展
项目页面 https://step-out.github.io/Duplex-MPE-Page/记录了基准,数据和代码正在准备在12月之前发布.目前的阶段是评估设计:框架已定义并进行文档化,但完整的发布材料仍未公布.
Comments
No comments yet. Be the first to comment.