REALM:为体现反应式倾听提供一个渐进的生成框架

嵌入式反应性倾听已经成为社交机器人的实践测试:一台机器人必须不仅用语音,还要通过小的及时手势来响应一个人.REALM是一个粗到精细的生成框架,通过将倾听视为延迟的因果关口反应过程而不是连续的动画循环来解决这个问题.目标是让机器人在对话中出现,特别是当它不是说话者时.

背景:说话头系统的差距

标准的说话头模型通常优先考虑与口语内容同步的可见言论生成,例如翻转头部,嘴唇运动和面部表情.听众动作更困难.这些系统可以与听者的动作进行斗争,产生凝视或不自然的焦虑.对于人形机器人来说,这些文物很重要,因为即使机器人在不说话时也能看到注意力.在人类对话中,非语言反告诉扬声者听众是否正在跟随,感到困惑或准备回应.对体内代理人而言,复制这种反是一个生成问题:系统必须决定要生产什么样的动作,何时制作它以及如何保持其微妙.

发展:粗的动作,然后是有声调节的细节

REALM组织生成为粗到细的过程.粗层可以定义广泛的反应姿势和时间,而精细水平添加了对音频有条件的微动力学.框架描述听取是延迟和因果关闭的,这意味着响应依赖于传入的音频并且不必立即出现.在所述方法中,声调微动态允许小面部和头部行为与传入语音信号联系在一起.自然眼和微妙的笑容是使倾听姿势感觉灵敏而不是机械固定的小型运动的例子.

最新进展:在阿美卡机器人上部署

材料的最新进展是一个演示,其中REALM直接部署在Ameca机器人上.这将该方法从说话头生成概念转移到体现环境中.一个人形机器人的物理头部,面孔和表达范围,因此定时和微动作决策在共享的社交场景中变得可见.部署于Ameca使框架在人形身体中可见,在那里可以突出细微的时间错误.演示还显示了框架专注于反应式听力而不是仅仅是扬声器动画.

目前阶段:一个框架和演示,而不是测量基准

根据所提供的材料,确定的细节是框架名称,粗到精的生成结构,延迟因果关联反应过程,音频条件微动力学,自然眼和微妙笑容等例子以及在Ameca机器人上部署.没有指出基准得分,延时数字,数据集名字,价格或发布日期.对于追踪社交机器人的读者来说,下一个有用的信号是听觉行为是否保持稳定跨不同音频流,听众角色和实时机器人和制约因素.报告得分的缺失意味着该工作应该被视为一种方法和演示而不是绩效排行榜条目.它是一种体现受访者行为的方法,而非性能指标.

标签描述: 字体的类型是什么? (Meta description)
REALM将反应式倾听视为一个延迟的,有声条件的过程,

标签:体现反应式倾听, REALM, 阿米卡机器人

主要图片:抽象的人形机器人轮.带有声波和层叠的运动网格, 没有标志或文字.