DeltaStreamer旨在实现类似人类的流媒体视频理解.

标题:DeltaStreamer为迟到的问题构建视频内存

代码描述:DeltaStreamer是一个 open-source 的视频代理,观察,组织记忆,并在关键时刻过后出现问题时重新访问视觉证据.

标签:DeltaStreamer, open-source 视频代理,流媒体存储器,OVO-Bench, StreamingBench

主要图片: 连续视频的抽象技术风格插图,形成可搜索的记忆流,没有真实的人物,没有公司标志和文本.

背景:流媒体视频造成记忆缺口

德尔塔Streamer是一个 open-source 代理设计的困难时机问题:视频流不断到达,但问题可能会后来.它连续观看视频,记住发生了什么事,当内存不足时返回视觉证据.核心的问题是流系统无法知道在出现问题之前哪些细节将重要. 当用户询问早期事件时,关键可能已经消失了.

这对于必须对正在进行的视觉输入而不是事实后选择的固定剪辑作出回应的系统来说很重要.代理不仅将每个传入作为新图像处理,而是构建场景的运行记录.它比较连续采样镜头并记录场景描述和视觉变化.这为系统提供了以后关于发生什么变化的推理的基础,而不是目前可见的 JUST .

源描述了一个实际的不对称性:视频不断到达,而问题可以随时出现.仅描述当前的系统可能会失去以后回答已经移出视野事件的能力.DeltaStreamer的反应是记录场景及其变化,创建可组织和查询事实后的材料.

发展:三种能力将变成证据

该项目连接了三个功能.第一个是观察.DeltaStreamer采样并比较连续的,捕获场景描述和它们之间的变化.第二个是记忆组织.这些观测被存储为结构化的文本记忆,每个记忆包含指向原始视觉证据的指针.第三个是按需调查.当查询到达时,代理人制定了一个基于查询的计划,检索相关记忆并且重新访问过去的如果存储文本缺少重要细节.

由于内存是文本式的,因此比原始更容易进行搜索和规划.因为它保留了对的指针,所以在细节重要时可以回归视觉证据.由查询驱动的计划是这两个状态之间的桥梁:一个问题首先触发检索,然后代理决定储存在内存是否足够或是否必须重新访问最初的框架.

这种架构解决了在回答视频问题方面的实际差距.内存记录可以帮助代理快速推理,但它可能会错过精细的视觉信息.指针允许代理返回原始而不是仅依赖摘要.演示显示该过程:用户可以上传视频,提问并探索代理的观察,记忆和规划流程.代码和本地部署的交互式演示可用.

最新进展:基准,公共代码和即将推出的应用

该项目报告了对OVO-Bench和StreamingBench的评估.它说DeltaStreamer显示出比多种现有方法更强大的整体性能.源材料中没有包括个别基准得分,因此该声明是作为总体比较而不是数值结果呈现出来的.基准名称在评价要求中出现,但来源不提供得分.

公共项目页面是https://bbbbchan.github.io/DeltaStreamer/.代码和演示可在https://github.com/BBBBchan/DeltaStreamer上获得.库邀请反,包括 GitHub 星或upvote.该项目还指出,基于DeltaStreamer的新应用程序将很快推出.

现在的贡献是工作流程:持续观察,有视觉指针的结构化内存和查询驱动的过去检索. 下一个里程碑就是公布应用程序如何使用这个基础.