Beyond Pixels：跳过 RGB，直接把视频模型的隐变量变成 4D 世界

一个检查点，接到同一 VAE 的多个视频模型上直接出 4D

3 分钟版

问题　「先生成再重建」会把生成画面的伪影传进几何；「端到端生成几何」又把 4D 预测绑死在某个视频模型上，而 4D 监督数据远比视频数据稀缺。

思路　Latent-to-4D：把视频模型最终去噪的 VAE 隐变量，经对齐模块（三线性重采样 + 3D 卷积）映射到预训练 4D 重建器的 token 网格，再用帧内与全局时空注意力交替细化，最后解码相机与世界坐标下的动态点图。训练时只用真实视频的 VAE 编码，视频模型与 VAE 全部冻结。

结果　Text4D-200 上，DINO-F1 比同隐变量的 Wan+4RC 级联高 2.88–3.45 分；I4D-200 上高 5.81 分、所有指标第一；人类评审在几何、时间稳定性和总体质量上都更偏好该方法（作者自报）。

所以呢　4D 能力可以作为一个「插件」挂在现有视频模型族上，不必为每个视频模型单独训练几何；前提是共享 VAE，且评测指标并不等同于真实的度量精度。

关键数字

• +5.81 I4D-200 上 DINO-F1 提升（Table 1）
• 57.09 Text4D-200 DINO-F1（Wan2.1-1.3B）（Table 1）
• 1,143 最终阶段训练用的重建片段数（Experimental Setup）
• 70.6% 图生 4D 总体质量的人类偏好率（Table 2）

局限与疑问

• 只适用于共享同一 VAE 的视频模型。
• 评测指标依赖外观，不等于度量精度。
• 只在 Wan 系列上验证。
• 结果为作者自报。

arXiv 摘要页 · PDF