中文 定位:一篇视频生成论文,题为《Back to Pixels》。前沿视频生成模型工作在 VAE 潜空间里,在空间与时间上同时压缩视频;这种压缩让训练变得可行,却也限制了高分辨率、可控与交互式生成,本文主张把潜空间视频扩散「抬回」像素空间。
核心能力
- 指出潜空间压缩在高分辨率、可控性、交互性三方面的上限来源。
- 提出将 latent video diffusion 提升到 pixel space 的路线,绕开 VAE 压缩瓶颈。
- 讨论面向高分辨率与交互式生成的建模取舍。
适用人群:做视频扩散模型、生成式视频与世界模型的研究者与工程师。
注意:本文为 HuggingFace Papers 收录的预印本,具体架构与实验结果以原文为准。
日本語 位置づけ:動画生成の論文で、題名は『Back to Pixels』。最先端の動画生成モデルは VAE の潜在空間で動作し、動画を空間と時間の両面で圧縮します。この圧縮により訓練は可能になりましたが、高解像度、制御可能、インタラクティブな生成を制限してもいます。本論文は潜在空間の動画拡散をピクセル空間へ「持ち上げる」ことを主張します。
主な機能
- 潜在空間の圧縮が高解像度、制御性、インタラクティブ性の三面で上限になる理由を指摘します。
- latent video diffusion を pixel space へ持ち上げる路線を提案し、VAE 圧縮のボトルネックを回避します。
- 高解像度とインタラクティブ生成に向けたモデリングの取捨選択を議論します。
対象ユーザー:動画拡散モデル、生成動画、ワールドモデルに取り組む研究者とエンジニアに向いています。
注意:HuggingFace Papers 収録のプレプリントであり、具体的なアーキテクチャと実験結果は原文が正です。
한국어 정의: 영상 생성 논문으로, 제목은 'Back to Pixels'입니다. 최전선 영상 생성 모델은 VAE 잠재 공간에서 동작하며 영상을 공간과 시간 양쪽으로 압축합니다. 이 압축 덕분에 훈련이 가능해졌지만, 고해상도, 제어 가능, 인터랙티브 생성을 제한하기도 합니다. 이 논문은 잠재 공간 영상 확산을 픽셀 공간으로 '끌어올리는' 방향을 주장합니다.
핵심 기능
- 잠재 공간 압축이 고해상도, 제어 가능성, 상호작용성 세 측면에서 상한이 되는 이유를 지적합니다.
- latent video diffusion을 pixel space로 끌어올리는 경로를 제안해 VAE 압축의 병목을 우회합니다.
- 고해상도와 인터랙티브 생성을 향한 모델링의 선택과 포기를 논의합니다.
대상 사용자: 영상 확산 모델, 생성형 영상, 월드 모델을 연구하는 연구자와 엔지니어에게 적합합니다.
참고: HuggingFace Papers에 수록된 프리프린트이며, 구체적인 구조와 실험 결과는 원문을 기준으로 합니다.
English What it is: A video generation paper titled "Back to Pixels". Frontier video models work in a VAE latent space that compresses video in both space and time; that compression made training tractable, but now limits high-resolution, controllable, and interactive generation. The paper argues for lifting latent video diffusion back into pixel space.
Key capabilities
- Pinpoints why latent compression caps high resolution, controllability, and interactivity.
- Proposes lifting latent video diffusion into pixel space, bypassing the VAE compression bottleneck.
- Discusses the modeling trade-offs for high-resolution and interactive generation.
Who it is for: Researchers and engineers working on video diffusion models, generative video, and world models.
Caveats: A preprint listed on HuggingFace Papers — the original text governs architecture details and results.