清华、英伟达等开了个新榜，38个AI实时视频模型露短板 - 热门比赛

AI 实时交互视频，已成为本年度最受瞩目的技术领域之一。

近半年内，各类相关模型接连涌现。阿里推出了 HappyOyster，昆仑万维发布了 Matrix-Game 4.0，爱诗科技带来了 PixVerse R2，生数科技则在 7 月上线了 Vidu S1，紧接着于 9 月发布了 Vidu S2……

资本也正加速涌入，多家企业完成了新一轮融资。世界模型、数字人、实时编辑等不同方向的团队纷纷入局。

然而，在热度之下，这个领域正呈现出一种无序的状态。

这种无序首先源于定义上的分歧。同样是做实时交互视频，有人称之为“交互世界模型”，有人叫它“实时交互多模态模型”，还有人将其视作独立于视频生成和世界模型之外的第三条路径。连赛道名称都未达成共识，评测标准自然更是无从谈起。

现有的评测工具仍沿用旧框架：给模型一段提示词，生成一段视频，然后评估画面清晰度、动作合理性、风格是否符合描述。VBench、EvalCrafter 等主流基准都遵循这一逻辑。但对于实时交互视频系统而言，这套方法根本无法触及真正的难点。

实时交互视频的核心挑战在于，用户指令是连续下达的，模型需要在不停顿生成的前提下及时响应新指令，同时维持人物身份、现有场景以及此前所有有效修改的稳定。而这些，现有评测工具几乎未曾涉及。

近日，清华大学、NVIDIA、CMU、UC Berkeley、Princeton、NUS 等海内外高校与机构联合推出了一个新的评测基准——StreamEval。

Leaderboard: https://streameval.ai

Paper: https://arxiv.org/pdf/2610.28402

Github Code: https://github.com/StreamEval/StreamEval

Benchmark Data on Huggingface: https://huggingface.co/datasets/StreamEval/StreamEval

Benchmark Data on ModelScope: https://www.modelscope.ai/datasets/StreamEval/StreamEval

这是行业内全球首个流式交互视频生成评测榜单，覆盖数字人对话、虚拟人表演、世界生成、指令编辑和参考编辑这五类任务，共包含 300 个测试用例，涉及 38 个模型。

与现有基准相比，StreamEval 不仅评测“生成质量”，更聚焦于“交互能力”。它将指令执行、状态一致性、视觉质量和音画协调纳入同一套可量化的评测体系，使不同技术路线的模型能在统一条件下接受测试。

目前，其代码、数据集和评分规则已全部开源，开发者可依照公开流程独立复测并核查评分过程。榜单会持续更新，任何开发者都可接入自己的模型参与测试。

StreamEval 具体测什么？怎么测？

要评测实时交互系统，就必须让它在接近真实的环境下运行：指令分批到达，场景持续演变，模型需要在时间流动中不断响应。

StreamEval 正是基于这一逻辑设计的。它覆盖数字人对话、虚拟人表演、世界生成、指令编辑和参考编辑五类任务，每类包含 60 个测试用例，分别覆盖 15 秒、30 秒、60 秒、120 秒和 300 秒五档时长，评测维度非常全面。每个用例由同一模型独立运行三次，以降低偶然因素对结果的影响。

StreamEval 整体框架。该基准涵盖五类任务，涉及数字人交互、世界生成和实时视频编辑。

整套数据包含 1347 个在线事件。语音、文字指令、参考图和源视频帧会按照时间轴逐步释放。模型只能看到当前已释放的输入，无法提前获知后续要求，也接触不到用于评分的预期答案。

基准数据集的构成。（a）任务与功能分布；（b）预设输入类型；（c）每个测试会话中的输入事件数量；（d）相邻预设输入事件之间的时间间隔。图中展示了 200 个测试用例，共包含 562 个在线输入事件，不包括初始化输入和连续输入的源视频帧。统计输入间隔时，排除了涉及触发事件的事件对。

五类任务各有侧重：

数字人对话考察模型能否理解用户语音，给出符合上下文的回应，同时维持人物身份和对话状态；

虚拟人表演要求角色根据实时指令完成视线、表情、姿态和手势等动作；

世界生成关注连续控制下的场景变化、镜头移动和空间连续性；

指令编辑与参考编辑则要求模型在源视频持续播放时，根据文字或参考图完成修改，并保留未被指定的内容。

五类任务的覆盖范围与评测时长。Dlg. 表示数字人对话，Perf. 表示虚拟人表演，World 表示世界生成，Instr./Ref. 分别表示基于文本指令和参考图像的实时视频编辑。✓ 表示包含该任务，× 表示不包含该任务。

StreamEval 将表现拆分为四个维度、十项指标。

任务执行关注对话表现、指令跟随和完整编辑；状态一致性考察画面稳定性、时间连续性及非目标内容保留；视觉保真度覆盖画质、人物身份和参考图匹配；声画协调主要评价音画同步。

各指标采用 0—100 分。每项任务只计算适用指标，再等权得出任务内综合分。数字人任务还对支持自定义形象的系统额外增加 5 分。五类任务分别排名，不合并成一个跨任务总榜。

38 个模型交卷，连续指令最难拿分

论文共评测了 38 个模型，形成了 49 个模型任务配置。结果显示，画面质量、人物身份保持和实时控制是几种相对独立的能力。模型能够稳定生成视频，并不等同于它能可靠地执行不断变化的指令。

在数字人对话任务中，Vidu S2-Avatar 的基础综合得分（Q-Overall）为 88.98，加上 5 分自定义形象能力后，综合得分（Overall）达到 93.98，在支持自定义形象的参评模型中取得了最高成绩。

数字人对话任务评测结果。

到了虚拟人表演任务，Vidu S2-Avatar 同样以 81.71 取得最高综合得分，其音画同步、稳定性和身份一致性分别达到 99.60、97.25 和 86.12。不过，它的指令跟随（Following）只有 36.90。这个成绩已经是七个参评模型中的最高值。

这意味着，角色可以保持稳定，嘴型也能跟上声音，但具体动作仍可能未按要求完成。连续交互对模型提出了更复杂的要求：它既要听懂指令，还要在正确的时间让正确的对象发生变化。

世界生成也呈现出明显的能力分化。

MemFlow 以 33.36 取得最高综合得分，Krea Realtime 以 25.93 拿到最高指令跟随得分，Matrix-Game 3.5 则以 34.50 取得最高连续性（Continuity）得分。HappyOyster 1.0 Adventure 的画质和稳定性分别达到 58.34 和 56.67，均为该任务最高值，但指令跟随得分仅为 5.56，连续性得分也只有 2.78。

世界生成。文本条件和图像条件下的模型配置统一参与排名；同一模型同时接受两种输入条件评测时，仅报告其文本条件下的评测结果。

这些结果说明，画面观感、指令响应和长时间连续性需要分别判断，某个模型看起来更稳定，不代表它更听指挥。

实时编辑部分，Vidu S2-Editing 在指令编辑任务中取得了 45.43 的综合得分，指令跟随和编辑成功率（Edit Success）分别为 72.10 和 57.20；JoyAI-Video-Edit 的综合得分为 42.39，但内容保留（Preservation）得分达到 83.33，高于 Vidu S2-Editing 的 60.93。前者在指令执行相关指标上更优，后者则更擅长保留源视频中的非目标内容。

参考编辑的难度更高。Vidu S2-Editing 以 39.02 取得最高 Overall，Preservation 为 64.44，Edit Success 只有 15.00。这个分数已经是论文公开报告的四个参考编辑配置中的最高值。

参考图切换、修改范围控制、已有状态保持和撤销恢复，需要在同一次持续生成中共同完成。模型可能成功改变人物外观，却破坏了背景；也可能保留了原视频内容，却没有采用新的参考形象。只有全部条件同时满足，才能获得完整编辑分数。

以系统先加载红色天鹅绒披风、第 10 秒切换为金色缎面披风、第 20 秒要求移除编辑为例，模型既要及时换装，还要保持人物动作和背景，最后精确恢复到源视频的原始状态。

输入变化过程中的参考图编辑。参考图 A 预先加载，参考图 B 于第 10 秒输入，第 20 秒发出移除参考图的指令。各列分别配对展示对应会话时间点的源视频帧与模型输出帧。局部放大图展示了框选的披风区域。结果显示，在参考图 B 生效阶段的两组输出中，披风仍保持灰色，没有按要求变为金色缎面。

因此，StreamEval 呈现出的重点并非谁在所有任务中全面领先。不同模型各有优势，行业共同面对的难题，是如何在持续生成过程中稳定执行连续指令，并正确维护已经建立的状态。

结语

StreamEval 的价值，不仅在于给模型排个名次。

它的背后，是清华大学、英伟达、CMU、UC Berkeley、Princeton、NUS 等顶尖学术与工业机构。多方研究力量共同参与，决定了它从一开始就是面向整个行业的公共评测框架，服务于这个领域的共同需求。

更关键的是，它正在为实时交互视频建立一套可复现、可持续演进的评价标准。公开的测试数据与评分规则，让开发者得以精准定位模型的短板，不同技术路线的进展也因此有了清晰可查的依据。在一个连定义都尚未统一的赛道里，能够提供这样一套公开、透明、可验证的基准，本身就是稀缺的。

榜单的含金量，取决于有多少模型参与、评测能否持续更新。StreamEval 计划长期维护榜单，每月持续纳入新模型与最新评测结果。随着更多研究团队和开发者加入，测试记录将不断积累，帮助整个行业更清楚地判断技术走到了哪一步，哪些问题还悬而未决。

StreamEval 的参与方式直接，分三步走。

第一步，获取代码和数据。开发者可以通过 GitHub 查看评测流程、模型接入示例和评分规则，并通过公开数据集下载评测所需的媒体文件。项目提供完整的任务定义、测试时间轴和预期结果，支持在统一条件下复现评测。

第二步，接入自己的模型。项目提供明确的模型接口规范，目前支持进程内模型接口和 WebSocket 服务两种接入形式，具体技术要求可参考 GitHub 中的 Add a Model 文档。

第三步，提交模型信息与评测结果。科研机构、企业模型团队和个人开发者，均可通过 StreamEval 官网（https://streameval.ai）的「Evaluate your model」入口提交模型信息。已按照公开流程在本地完成测试的参与者，也可附上自行评测的结果与技术反馈。结果经审核验证后，将纳入后续榜单发布。

实时交互视频的下一步，需要模型持续突破，也需要一套经得起检验的评价标准。如果你正在研发数字人、交互式世界或实时视频编辑模型，不妨亲自跑一遍 StreamEval，让自己的模型接受测试，也让更多真实结果进入这份持续更新的榜单，共同为行业的进步添砖加瓦。

GitHub：https://github.com/StreamEval/StreamEval

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：杨文，36氪经授权发布。