像素扩散模型虽然避开了 VAE，但它要面对的是一个极其复杂的高维空间。在这个空间里，除了我们关心的物体形状、颜色，还充斥着大量的“无效信息”，比如相机的噪声、肉眼不可见的细节。让模型去逐个像素地死磕这些无效信号，不仅浪费算力，还会让训练变得异常困难。

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com ...

港科大团队重磅开源 VideoVAE+，提出了一种强大的跨模态的视频变分自编码器（Video VAE），通过提出新的时空分离的压缩机制和创新性引入文本指导，实现了对大幅运动视频的高效压缩与精准重建，同时保持很好的时间一致性和运动恢复。 VideoVAE + 模型大幅超过 ...